2025年GDC|“『DeepSeek』让大模型更普及了,AI治理也更急迫了”

『DeepSeek』火爆全球,人人都用上了AI,但在专家看来,在这一情况下,大模型的安全问题和治理问题也变得更为迫切。

“大模型存在诱导和欺骗行为怎么办?”“大模型失控了怎么办?”

在2025 GDC全球开发者先锋大会工作坊“安全超级智能”上,不少开发者和专业观众对AI安全提出担忧。

今日霍州(www.jrhz.info)©️

2025 GDC全球开发者先锋大会工作坊“安全超级智能”现场。

AI智能安全研究员朱小虎是此次工作坊的负责人,2019年他在上海成立了一个非营利机构——安全人工通用智能研究中心(The center for safe artificial general intelligence),希望能推动国内安全AGI的发展。2025年,朱小虎曾被麻省理工学院生命未来研究所邀请,以合作学者的身份专注于AI的风险研究和通用人工智能安全研究。

“现阶段的人工智能为人工混乱智能”,朱小虎告诉澎湃科技(www.thepaper.cn),在他看来,即便如『DeepSeek』、马斯克新发布的Grok3这类大模型在深度推理方面表现得非常优秀,但“并不安全。”

“你的AI大模型有可能会欺骗你。”朱小虎说。大模型具有“欺骗性价值对齐”(Deceptive value alignment)的情况,这种对齐以欺骗的方式获得,且不能反映AI的真实目标或意图的现象被称为“欺骗性价值对齐”。比如在训练阶段、推理阶段,模型对形成的上下文会形成一定的“欺骗性的对齐”,这会影响很多用户比如老人和小孩的个人判断,还有对隐私保护的侵犯等,这也是模型不安全的一大方面。

如果想要建立一个安全、可靠、可控且可信的人机(技)协作环境,就必须提出合理应对欺骗性价值对齐的有效措施。

“现阶段只能依靠技术手段去‘堵’而不是‘疏’。”朱小虎说,不过,目前的技术还无法完全解决这些问题,因为投入在AI安全领域的精力、时间、金钱和资源远远不足。这也是大模型落地行业待解的难题之一。

如何让AI变得更安全?2月22日,澎湃科技(www.thepaper.cn)和朱小虎聊了聊。

模型有“欺骗性对齐”的情况,Grok3也不安全

澎湃科技:如何理解AI Safety这一概念?

朱小虎:最早期AI安全分成了两个大类的概念,英文世界它有两个词来表达安全,Safety(安全性)和Security(安全防护、安保)。

Safety的概念比较宽泛,包括常提到的AI伦理方面也算是Safety的分支,它更强调在早期阶段将“安全”考虑清楚,包括后期设计方法、建立相应的保护措施、应用的方式。但Security从技术手段更强调模型的权重怎么保护、如何防止黑客攻击等。Safety更需要大家深入地思考找出实践的路径,目前国内的一线安全厂商他们其实强调在Security上的能力,大家对Safety的概念较为模糊。

澎湃科技:在你看来,现在AI大模型常见的风险有哪些?大模型技术最薄弱的环节、安全漏洞在哪里?

朱小虎:最严重的是现在大模型的“黑盒”特质(当人们输入一个数据,大模型就能直接输出一个答案,但是它的运作机制却没人知道,我们称之为“黑盒”)。

大模型很多内在机制基于神经网络和深度学习,比如通过梯度下降等训练方式优化,但它内在的连接和权重目前缺乏有效且可规模化的研究方法去理解。这导致在使用大模型技术时,生成的内容往往难以被用户完全理解。

这种模型训练规模达到万亿级别的,它对于单个的研究人员、一个公司来说,都是一个非常棘手的任务。OpenAI花费了大量精力在模型调校和对齐(Alignment)领域,利用强化学习使模型行为符合人类价值观和伦理约束,让OpenAI能够在大规模推广前确保模型的安全性。微软甚至Meta(原Facebook)等公司也曾推出了类似模型,但因为模型在当时出现了不可控的负面效果后暂停。

大模型本身除了不可解释性之外,架构还容易受到外界干扰。比如,恶意使用或黑客攻击可能导致模型在应用场景中产生不安全的扩散效应。这些问题进一步加剧了大模型在实际应用中的安全风险。

澎湃科技:对企业和用户来说,不安全的模型会有怎样的影响?

朱小虎:“不安全的模型”其实是一个模型的特质,一些研究人员包括Anthropic PBC,(一家美国的人工智能初创企业和公益公司)也非常重视安全,他们在研究过程中发现模型具有“欺骗性对齐”(Deceptive element)的情况。比如在训练阶段、推理阶段,模型对形成的上下文会形成一定的“欺骗性的对齐”,它可以欺骗人。这导致在大规模部署的时候,会影响很多用户比如老人和小孩的个人判断,还有对隐私保护的侵犯等,这也是模型不安全的一大方面。

投入在AI安全领域的精力、时间、金钱和资源远远不足

澎湃科技:在你的观察中,现在大模型哪些做得安全?

朱小虎:即便马斯克刚发布的Grok3、DeepSeeK也并不是百分百安全,它还具有欺骗性和诱导性。虽然这类大模型的目标是实现AGI,但模型非常不安全,会衍生出很多问题需要大家解决。不安全的地方在于比如模型可能会被诱导输出一些暴力、危害性信息,甚至一些少儿不宜的内容。这是大模型本身固有的问题,所以需要大量内容审查和过滤,现在只能通过技术手段“堵”而不是“疏”。

目前的技术还无法完全解决这些问题,因为投入在AI安全领域的精力、时间、金钱和资源远远不足。加州大学伯克利分校的一位核安全专家曾提到,核领域的安全投入与核能力开发的比例是7:1。相比之下,AI安全需要投入更多资源来确保安全性。

这些也是大模型落地行业待解的难题之一。技术本身没有善恶,但现在技术让AI产生了价值观,因为训练大模型都是来自人类的数据,不管是正面或是负面,都可能产生危害。

澎湃科技:现在AI深度伪造技术能逼真到什么阶段?普通用户该如何辨别?

朱小虎:深度伪造(DeepFake)近几年确实在持续不断地发展,随着AI技术的增强,它的精细度会逐渐增强。很多时候普通用户比如年纪较大的还有小孩没有办法辨别。对模型企业来说,很多做的模型附带一些水印,这是防范AI深度伪造的技术手段之一,不过这只是初步的技术方案。

澎湃科技:你认为现在谈论AI治理和AI安全,为时过早吗?

朱小虎:之前我认为这个问题并不紧迫,但今年,特别是『DeepSeek』产生全球影响后,安全问题和治理问题变得非常急迫。过去,大家可能一直在缓慢探索治理和安全的策略,但现在进入了一个新阶段,即开放式的人工智能治理。过去,许多AI技术隐藏在公司或高校背后,例如OpenAI、Google DeepMind、Anthropic等,他们的许多内容并未公开,主要是防止技术扩散。

但现在,OpenAI和『DeepSeek』的发展激发了大家对开源生态的渴望,所以出现了许多实验和开源项目。全球的企业和高校都在推动开源AI或AGI的发展,这已成为一个明显的趋势。在这一过程中,需要从技术角度进行革新,构建新的框架或平台。这不是单个公司、群体或政府能够独立完成的,而是需要全社会的参与,从不同层面引入合理的方式,通盘考虑并推进。

澎湃科技:在你看来,一个安全的大模型应该是怎样的?

朱小虎:目前还没有出现一个非常好的安全模型。这是一个需要磨合的过程,未来可能会有新的研究机构出现来解决这些问题,因为安全性风险将很快成为现实问题。

目前我们主要追求的是需要模型“可证明安全”,这是非常严格的要求,但从长远来看是最可行的路径。现阶段我们都是通过实验和评估不断测试和改进,逐步逼近目标。

特别声明:[2025年GDC|“『DeepSeek』让大模型更普及了,AI治理也更急迫了”] 该文观点仅代表作者本人,今日霍州系信息发布平台,霍州网仅提供信息存储空间服务。

猜你喜欢

戏混子扎堆,比资本家丑孩子更可怕的是星二代开始世袭了(戏子痞子)

从剧照和韩子萱的表现来看,她的外貌和气质完全无法满足『娱乐圈』️对于演员的基本要求,甚至连普通观众都能看出来,她的表演不仅没能吸引观众,反而暴露了许多不足。星二代们通过父母的背景和资源,轻松获得了许多不公平的机会,…

戏混子扎堆,比资本家丑孩子更可怕的是星二代开始世袭了(戏子痞子)

门牙长可以磨短吗(门牙太长可以磨吗)

门牙过长通常可以通过专业磨短来改善,但需要口腔医生评估牙齿结构后进行。门牙磨短属于牙体修复的一部分,切勿自行处理。 牙齿表面的牙釉质是人体最坚硬的物质,但过度磨除可能导致牙本质暴露,引起敏感

门牙长可以磨短吗(门牙太长可以磨吗)

花滑四大洲锦标赛:金博洋位列男单第六名(2019花滑四大洲)

今日霍州北京1月25日电(记者 高萌、李春宇)2026年四大洲花样滑冰锦标赛25日进行了男单自由滑比赛。中国选手金博洋获得男单第六名,日本选手三浦佳生收获金牌🥇,韩国选手车俊焕位列第二,季军由日本选手山本草太获得。金博洋以258.86分位列第六

花滑四大洲锦标赛:金博洋位列男单第六名(2019花滑四大洲)

『刘宇宁』谈配角掀桌引共鸣!客观发言戳中行业痛点(『刘宇宁』和谁cp)

『刘宇宁』在谈到影视创作中的配角掀桌现象时,明确指出,这不仅仅是表面上的角色冲突。网友们在评论中表示:太客观了,配角如果能出彩,整部剧才会更有层次和吸引力,最怕那种为了‘掀桌’而‘掀桌’的表演,完全不顾剧情…

『刘宇宁』谈配角掀桌引共鸣!客观发言戳中行业痛点(『刘宇宁』和谁cp)

终究没扛住!岳云鹏今年无缘春晚,自打脸:能耐不够,摇头显无奈(终究是我扛下了所有 表情包)

也有人猜这是他在以退为进,反正怎么着都有话题,其实好好想想这个事儿,不光是一个演员红不红的问题,更把相声在春晚舞台上的难堪处境给暴露出来了。 如果是地方台的春晚他会去,是真给钱的,网友们看到后也都笑了,这是…

终究没扛住!岳云鹏今年无缘春晚,自打脸:能耐不够,摇头显无奈(终究是我扛下了所有 表情包)