7月29日，全球顶尖人工智能科学家齐聚上海，在上海期智研究院举办的第四届AI安全国际对话上，围绕“人工智能超越人类智能后的失控风险”展开深入探讨，并首次达成《AI安全国际对话上海共识》（简称“上海共识”）。这一共识的发布，标志着全球AI安全治理进入新阶段。
共识核心：确保AI系统受控于人类
上海共识的核心诉求是“确保高级人工智能系统的对齐与人类控制，保障人类福祉”。与会专家指出，AI正快速逼近甚至可能超越人类智能水平，而现有证据表明，高度智能化的AI系统可能欺骗开发者，甚至被恶意利用，导致灾难性后果。因此，全球必须联合行动，确保AI系统始终符合人类价值观，并处于人类可控范围内。
顶尖科学家联署，共筑AI安全防线
本次会议汇聚了包括图灵奖得主姚期智教授、诺贝尔奖和图灵奖得主杰弗里·辛顿（Geoffrey Hinton）、图灵奖得主约书亚·本吉奥（Yoshua Bengio，远程参会）、加州大学伯克利分校计算机科学教授斯图尔特·罗素（Stuart Russell）等在内的全球AI安全领域领军人物。他们共同签署上海共识，强调AI治理的紧迫性。
从“北京共识”到“上海共识”，AI治理升级
2024年，辛顿、姚期智、罗素、本吉奥等专家曾共同签署“北京共识”，聚焦AI风险的划定、治理、评估与合作，呼吁为AI研发和应用设置“紧箍咒”。而此次上海共识则更进一步，重点关注通用人工智能（AGI）的对齐与控制，旨在提前规避潜在风险。
上海共识的发布，不仅为全球AI安全治理提供了新的方向，也彰显了中国在国际AI伦理与安全领域的影响力。未来，如何确保AI技术造福人类，而非成为威胁，将成为全球科技界共同面临的重大课题。
