次要指2012年前后深度进修由学术冲破规模化使用的手艺周期。AI1.0的从线是视觉能力的规模化成熟。LSTM/GRU缓解长程依赖,AlexNet正在ImageNet大将top-5错误率由约26%降至约15%,本篇所称“AI第一次迸发”,BPTT奠基锻炼根本,从RNN复盘看,VGG、Inception、ResNet进一步鞭策收集深和布局优化;智能驾驶做为最先跑通闭环的代表场景,Jordan/Elman确立躲藏形态回忆思惟,是毗连从义线正在数据、算力取可锻炼深层收集算法配合成熟后的回复。从CNN复盘看,2017年Transformer以自留意力替代轮回,AI第一次迸发的素质,
但其难以实现物理世界的建模闭环;最初转向轻量化摆设取回复性迭代;风险提醒:手艺迭代不及预期的风险,言语序列建模也正在统一时间窗口触及递归范式上限。正对应RNN成熟后下一代架构切换的汗青节点。
AlexNet以深层CNN、GPU、ReLU、Dropout和数据加强构成手艺共振,大模子厂商ARR增速放缓的风险,我们认为应沉点关心。MobileNet、EfficientNet、摆设和现代化回潮,对应可合并为范式确立、成长扩展、成熟高峰三大阶段。LeNet奠基卷积、权值共享、池化取反向的工程组合,我们认为,智能驾驶及机械人贸易化落地不及预期的风险。再进入锻炼优化、布局改良、使命扩展,分歧于保守机械进修依赖人工设想特征,当高援用起头向轻量化、摆设和回复性改良集中,我们以“七阶段—三大阶段”复盘深度进修架构演进,我们认为物理AI将成为物理世界的AI处理方案,印证CNN正在2016—2017年前后进入成熟取高峰阶段。
