新智元报道
编辑：KingHZ
【新智元导读】Meta超级智能团队成员毕树超，回溯70年AI进化：从AlexNet掀起深度学习革命，到Transformer与Scaling Law驱动大模型爆发，再到强化学习＋预训练通向AGI。他相信智能并非人类都独有，AGI曙光已现！
加入Meta超级智能实验室后，毕树超首次发声：大多数人可能低估了AI的影响！
十年前，他非常怀疑AGI，但在过去十年中，他逐渐接受了AGI，日渐笃定，甚至宣称：2025，AGI已来。
上个月，他在哥伦比亚大学和哈佛大学就人工智能发表了两次演讲。
许多参加的人都后来联系他，声称这次演讲改变了他们的AI观念。
在题为《推进硅基智能前沿：过去、开放问题与未来》的演讲中，毕树超系统阐述了过去15年的技术进展、当前待解难题以及未来发展趋势
目前，他在Meta从事强化学习/后训练/智能体研究。之前，他在OpenAI领导多模态研究；他还是YouTube Shorts的主要负责人。
他本科从浙江大学数学专业毕业，之后在加州大学伯克利分校获得统计学硕士和数学博士学位。
AGI曙光
最近，David Silver等人发表了《Welcome to the Era of Experience》。
他们的核心观点是：高质量的人类数据非常稀缺。
尽管人类文明已有几千年，但真正积累的高质量数据并不多，而且大部分文本快消耗殆尽。
所以问题是：如何生成更多的数据？
答案可能在于人类本身。人类的数据来源于人脑的思考，以及从真实环境中获得的反馈和奖励。
算力正在变得越来越廉价，计算机与环境的交互或许可自动生成新的知识与数据。这种方式将可能比人类自身产生数据的速度更快。
这也是为什么毕树超如此看好通用人工智能（AGI）和超人工智能（Artificial Superintelligence，ASI）的原因。
他分享了个人对AGI研究的心路历程。
一开始对通用人工智能持怀疑态度，因为这个领域存在大量炒作。
对他个人来说，最大的障碍是他曾坚定地相信：人脑是特别的，人类智能是独一无二的。
毕竟，目前许多技术，从数学角度来看，只不过改进了Tensor运算和梯度优化，本质上并不复杂。他不禁怀疑：人类真的那么难以复制吗？
但随着对AI理解的加深，他开始意识到：模拟人脑的方式不止一种。如果能够用计算机模仿人类的学习方式，那为什么不这样做呢？
这就是他如今更加相信AGI的原因：
一方面，也许大脑并不是独一无二的，它只是生物进化的结果。虽然复杂，但归根结底它也不过是一台「生物计算机」，并不比硅基计算机更神秘。
另一方面，也许真正关键的因素不是结构的复杂程度，而是系统是否具备足够的规模。
AI双城记
在哥伦比亚大学，他追溯了人工智能（AI）的思想根源。
这一切都始于1948-1950年左右。
当时，Alan Turing提出了一个问题：机器能思考吗？
图灵提出，人工智能不应试图模仿成人的大脑（包含复杂的经验和偏见），而应设计一个简单的模型，尽量减少人为预设的结构，让模型通过数据自主学习。
毕树超对观众说：「这正是机器学习的核心。你构建一个几乎不含人类先验知识的系统，让它从数据中学习。」
他重点讲了自监督学习和强化学习。
他回顾了自监督学习、深度网络以及像Transformer这样的里程碑式架构的兴起。
他展示了计算能力和数据规模的提升（而非人工编码的知识）如何带来性能的飞跃。
自监督学习
2012年，出现了AlexNet。
基本上可以说，这是第一个大规模深度学习模型，使用了GPU和大量数据。
AlexNet错误率令人惊叹，性能之好史无前例。
从中，大家得到了一个启示：只要有足够的数据和计算能力，神经网络就会超越人类过去几十年手工设计的视觉算法。
在当时，对于从事视觉研究的研究人员来说，是一场灾难，几十年付诸东流。
这重新唤起了人们对神经网络的兴趣，深度学习革命开始了。
大多数人认为2012年标志着深度学习革命的开始。
然后到了2013年，谷歌发表了Word2Vec。
简单来说，「Word2Vec」用一个嵌入向量，来表示单词。
从此，单词可以进行算术运算，比如「king-man=queen-woman」。
向量运算竟然能捕捉语义关系！更关键的是，这些词嵌入在下游任务中表现惊人。
这引发了另外两个趋势：
（1）Word2Vec演变到一切皆可向量化（everything2Vec）。
（2）强化了计算+数据的优势，这种结合远比归纳偏差表现要好。
这回应了图灵的设想：我们不想模拟成人的大脑，这意味着我们不希望在模型中加入人类的归纳偏差。
2014年，生成模型GAN出现了。
GAN在生成领域石破天惊，但与自监督学习关系不大
2015年，深度学习「加速器」Adam优化器已经诞生了，开始流行。
它标准化了训练流程，终于不用再手工调参了！特别适合处理海量数据和稀疏梯度，直到今天大多数优化器都是Adam的变种。
同年的ResNet更是神来之笔！
当时深层网络训练就像走钢丝——梯度要么消失要么爆炸。而ResNet的「跳跃连接」（skip connection）就像给神经网络装了电梯：浅层特征可以直接跨层传输。
残差连接让优化变得非常容易：右图(a)没有残差连接时崎岖不平，(b)引入残差后如瓷碗一般平滑。
如果采用这种结构，可以确保学习起来容易得多。而且这种技巧几乎适用于所有网络架构。这就是为什么现在几乎所有网络都采用这种结构。
不过当年，很多数学背景的人都质疑过深度学习中的这类技巧。
豁然开朗
演讲的前一天，毕树超和物理教授聊天才意识到：在低维空间建立的统计直觉，在万亿参数的高维空间根本不适用！
原因是大家都生活在低维空间中，低维度的直觉难以推广到高维空间。
毕树超花了好几年才克服了这些错误的直观。
他之所以困惑一大原因在于深度神经网络需要的是非凸优化（non-convex optimization）。
当处理非凸优化时，首先担心是陷入随机的局部最小值。如果最好的结果不过是随机的局部最小值，怎么能信任结果呢？然后，有很多关于这个的研究。
让他重拾信心的第一个发现是：在高维空间里，陷入局部最优其实非常难。在三维世界看二维曲面时，局部极小值确实像深坑难爬出来。但在十亿维空间里，有无数个逃生通道！
第二个发现更妙：就算被困住，这些「局部极小值」其实离全局最优根本不远！
所以现在没人再纠结非凸优化问题了。
那再说个更颠覆的现象——过参数不会带来过拟合。
在传统的统计分析领域中，如果参数数量大于数据点数量，那是一场灾难。从理论上讲，这会导致过拟合。
但深度学习模型参数动不动就是样本量的百倍！
作为数学统计双背景的人，这曾让他困惑不已、夜不能寐...
直到发现：即便用随机标签训练，网络也会优先学习真实模式，
这就是著名的「双下降现象」：当过参数化模型达到插值点后，会进入广阔的零损失解空间，并自动选择泛化性最优的解。
现在，终于可以说：过参数化不是bug，是feature！
ChatGPT前传
2014年，出现了第一篇关于注意力机制的论文。
从2014年到2016年，当时的主要挑战是，这些模型很难并行训练，以及梯度消失。
LSTM有所帮助，但也没有完全解决问题。
然后，Transformer就出现了。
这是过去十年中最重要的论文之一。它完全消除了递归，完全依赖于自注意力。
Transformer是一个转折点，优雅地解决了之前的局限性。
毕树超盛赞：「这是过去十年最重要的架构。它高度可并行化、数据效率高，并且扩展性极佳。」
2018年，出现了GPT-1。2019年，出现了GPT-2。2025年，出现了GPT-3。
毕树超认为GenAI的本质通用性（generalizable）。
以前，只要有数据，每个领域都可以构建一个专门的模型。这并不具备可扩展性。而GPT系列模型非常通用，可以通过零样本或少样本学习完成任务。
2025年，Scaling Law论文揭示惊人规律：算力、参数量、数据量每增加10倍，损失函数就线性下降！
这个定律精准预测了GPT-4的性能。虽然它终将触及天花板，但在此之前，10万亿美元级的算力投入都将持续获得回报！
这也是《The Bitter Lesson》这篇雄文的核心：70年AI史就是「算力碾压人类精巧设计的算法」的历史！
当然，作为数学系毕业生的毕树超总在追问scaling的源头——或许答案藏在数据分布的本征结构中。
Scaling Law如何让模型顿悟？
看看数据分布：顶尖医生解决罕见病，普通医生处理常见病；
算术书籍浩如烟海，代数几何专著却凤毛麟角。
智能的分布恰如幂律曲线！
Scaling law的本质或许在此：每挖掘高一个数量级的「智能稀有度」，就需要十倍算力投入！
这解释了为何模型总先学通用模式。
三年前，全网争论的「能力涌现」，其实只是幂律数据遇到对数坐标的视觉把戏！
当算力突破临界点，AI「突然」学会微积分不过是捕获了数据长尾中的高阶模式！
这只是一个视角问题。它并不是突然出现的，它实际上只是反映了底层数据。
Ilya有一句名言：「模型只是想学习。」
Transformer架构终于让AI回归本能：吃数据，吐智能！。
过去十年，我们逐渐打破了很多对机器学习的误解。如今，主流观点是：预测本身的压缩，其实等同于理解，甚至是智能的体现。
从信息论的角度来看，Shannon把「信息」定义为「不可预测性」。「智能」可以理解为：让这个世界变得越来越不让你感到惊讶的能力。
从这个意义上看，大语言模型在预测下一个词时，其实是在压缩语言中的各种模式。这正是人类理解世界的方式之一。
从认知科学的角度，人类的学习过程本质上也是压缩过程。物理定律、数学公理等方式把世界的观察总结成最小的一组规则。
因此，从信息到学习，从预测到理解，「压缩」是背后共同的核心逻辑。
强化学习
整个深度强化学习从2015年开始。
当时，出现了DQN网络。它可以玩多种雅达利游戏，玩得比人类好多了。
这些模型发现了很多人类想不到的策略，因此人们称之为「外星智能」（alien intelligence）。
真正的核爆点在围棋上。AlphaGo的表现让人们第一次意识到：「这些模型真的有智能。」
AlphaGo起初是从人类棋谱中训练起来的，它结合了深度神经网络、、自我博弈（self-play）和蒙特卡洛树搜索（Monte Carlo Tree Search），最终击败了世界冠军。
到了2017年，AlphaGo Zero出现了。模型进一步升级，完全不再依赖人类数据，所有训练都来自自我对弈，堪称「AI界周伯通」！
2018年，AlphaZero再进一步。
2019年，强化学习扩展到了电子游戏，比如《星际争霸》。
但这股热潮很快退却了，因为人们发现：AI虽然能「打游戏」，却在现实中没有太大用处。
直到强化学习与预训练模型结合，这一切才真正发生了变化，开启了「预训练与强化学习结合的新时代」。
低算力RL
比如2022年的InstructGPT，它让大语言模型不仅仅是「自动补全工具」，而是能够理解和执行人类指令。
而2022年发布的ChatGPT，更是通过强化学习（特别是人类反馈强化学习，RLHF）进一步提升了交互能力。
当时，这个项目只是John Schulman等人的一个低调研究预览。谁曾想，它如今每周有超过5亿用户使用，彻底改变了人们获取信息的方式。
但仔细一想，这跟之前提到的「游戏里的强化学习」到底有什么不同呢？
强化学习+预训练模型，可以应用到现实中更广泛、更有价值的场景中。
关于当前AI模型的训练方式，强化学习所占的计算资源比例其实非常小，就像蛋糕上点缀的樱桃。
但未来如果要构建真正的AGI乃至ASI，强化学习必须发挥更大的作用，尤其是在适应未知环境方面。
高算力RL
在过去六七十年的AI发展中，有两类技术最能随着算力增长而不断进步：
「学习」：也就是预训练；
「搜索」：通过策略探索获得新解。
而「搜索」这一方向，目前还远远不够好。
这也是为什么我们要进入AI发展的「第二阶段范式」：让预训练与高计算量强化学习真正结合起来。
从2014年的o系列模型开始，这种趋势已经出现。
在数学基准上AIME中的表现，开源的DeepSeek R1已经超过o1。
这并不是一件简单的事，它代表了全新的计算范式：「高算力RL」。
这种范式然显著增强了模型的「个体学习」能力。
虽然问题还有很多值得探索，但毕树超在演讲中表示：「每隔几个月，我们就看到一些曾经被认为不可能的事情成为现实。这应该让我们重新审视所有我们仍然认为不可能的事情。 」
也许很多我们以为的不可能，其实只是知识的局限。
参考资料：
https://youtu.be/E22AOHAEtu4
https://www.engineering.columbia.edu/about/news/exploring-past-and-future-ai
