新智元报道
编辑：编辑部 HYZ
【新智元导读】加入Anthropic半年后，OpenAI联创又双叒离职了！这位强化学习先驱、ChatGPT核心架构师离职，对Anthropic来说是一大损失。
加入Anthropic才刚六个月的OpenAI联创John Schulman，又火速选择离开了！
此前，Schulman曾在OpenAI工作了9年。
去年8月份，他选择离开OpenAI，加入Anthropic。
当时，他在给前同事们的信中表示，自己之所以做此选择，目的是「深化自己对AI对齐的关注，开启自己职业生涯的新篇章，回归到能亲自动手的技术工作」。
而如今加入Anthropic才刚半年，他却又忽然选择离开。
Anthropic：表示遗憾
Anthropic首席科学官Jared Kaplan在一份声明中表示：「我们对John的离开感到遗憾，但完全支持他追求新机会的决定，并祝愿他一切顺利。」
有人表示，Schulman的离职对Anthropic是一种打击。他不仅是强化学习先驱，更是ChatGPT背后开发核心架构师。
2024年8月，时任OpenAI「后训练」团队负责人John Schulman，在推特上官宣入职劲敌Anthropic。
当时这个消息，就曾引起巨大震动。
原因不仅仅在于，Schulman是OpenAI最受瞩目的技术领袖之一，带领团队为ChatGPT取得突破性成果做出了关键贡献。
他离开的时节也十分敏感。当时，正处于OpenAI的高管离职潮，CTO Mira Murati在内的其他高管，也几乎在同一时间离职。
对此，Sam Altman甚至十分郑重地用了「大写字母」来发文回应。
ChatGPT架构师，PPO一作
Schulman与OpenAI的结缘，是在研究生学业完成后，以创始人身份正式加入OpenAI。
至今，他已在OpenAI供职9年。值得一提的是，这是Schulman除实习之外，唯一工作的公司。
之前，他负责的是对齐团队，随后他开始主要领导「后训练」团队，对部署在ChatGPT和OpenAI API中的模型进行微调。
John Schulman本科在加州理工学院学习物理学，之后到加州大学伯克利分校攻读神经科学方向的博士。
当时，他对人工智能也有点兴趣，但在其中并没有看到类似神经科学的可遵循的道路。
直到参与伯克利的实验室轮换项目时，他与Pieter Abbeel共同进行了直升机和『机器人』️方面的工作，由此决定转到EECS（电子工程和计算机科学）。
Schulman与OpenAI结缘已久。作为ChatGPT架构师，早在2015年还在读博士学位时，他就加入OpenAI成为联合创始人之一。
在一次采访中，Schulman解释了自己加入OpenAI的原因：
「我想做人工智能方面的研究，我认为OpenAI这家公司的使命雄心勃勃，并且致力打造通用人工智能。」
「尽管，在当时谈论AGI似乎有些疯狂，但我认为开始考虑它是合理的，我希望在一个地方谈论AGI是可以接受的。」
另外，据Schulman透露，OpenAI将人类反馈强化学习（RLHF）引入ChatGPT的想法可以追溯到2017年，当时Jan Leike和Dario Amodei等人发表的一篇论文提到了这个方法。
论文地址：https://arxiv.org/abs/1706.03741
此外，2017年，Schulman在OpenAI任职期间也和团队首次提出了近端策略优化（PPO）算法，其变体PPO-Clip成为了OpenAI使用的主要算法。
论文地址：https://arxiv.org/abs/1707.06347
OpenAI安全团队之所以致力于这项工作，是因为想让模型符合人类的偏好，真正倾听人类意见，并试图做人类想做的事情。
在GPT-3完成训练时，Schulman看到了整个研究方向的潜力并决定加入这股潮流。
在很多次采访中，Schulman都表达了对于人工智能下一前沿领域的看法：AI在更艰难的任务上不断进步的同时，人类应该做些什么？在哪些任务中，人类可以在大模型帮助下有更大影响力，做更多的工作。
此外，指路Schulman在个人博客上发布的机器学习研究指南，最初是在2017年为OpenAI 研究员计划 编写的。干货满满，值得一观。
文章地址：http://joschu.net/blog/opinionated-guide-ml-research.html
参考资料：
https://www.theinformation.com/briefings/ai-researcher-john-schulman-leaves-anthropic?rc=epv9gi
