OpenAI研究人员:破解『大语言模型』“幻觉”需从评估指标入手,避免奖励猜测(openjoven研究)

在人工智能领域,『大语言模型』的“幻觉”问题长期困扰着行业——这些模型有时会将错误信息当作事实输出,几乎所有主流产品都存在这一缺陷。近日,OpenAI的研究团队在最新论文中提出,该问题的根源在于现有训练机制过度鼓励模型“猜测答案”,而非坦诚表达不确定性。

研究指出,当前模型训练过程中,评估标准更倾向于奖励“自信回答”,即使答案错误也能获得较高分数。这种机制导致模型被优化为“考试型选手”,在面对不确定问题时倾向于猜测而非承认“不知道”。研究人员比喻称,模型如同被迫参加一场永远没有“不确定”选项的考试,而现实世界的问题往往没有绝对正确的答案。

不同模型在这一问题上的表现存在显著差异。OpenAI此前发布的对比数据显示,Claude模型在面对不确定信息时更倾向于拒绝回答,而非给出错误答案。但研究团队同时指出,这种策略虽然降低了幻觉风险,却也导致拒答率过高,可能影响用户实际使用体验。

论文强调,现有评估体系与真实场景需求严重脱节。人类在现实互动中会逐渐学会表达不确定性的价值,但模型依赖的标准化测试却惩罚了“不确定”的回答。研究人员认为,这导致模型始终处于“考试模式”,将复杂问题简化为非黑即白的选择。

“问题的核心在于评估指标的错位。”研究团队提出,必须重新设计评分机制,避免模型因拒绝回答不确定问题而被扣分。当前广泛使用的基于准确率的评估方式需要更新,新的打分体系应当抑制模型“乱猜”的冲动。

OpenAI在配套博文中进一步解释,如果排行榜继续奖励侥幸正确的回答,模型开发者就会持续优化猜测能力,而非提升真实理解水平。研究团队呼吁行业建立更符合现实需求的评估标准,例如引入对不确定性表达的奖励机制,或设计能区分“合理猜测”与“随意回答”的评分模型。

特别声明:[OpenAI研究人员:破解『大语言模型』“幻觉”需从评估指标入手,避免奖励猜测(openjoven研究)] 该文观点仅代表作者本人,今日霍州系信息发布平台,霍州网仅提供信息存储空间服务。

猜你喜欢

兴业证券全球首席策略分析师张忆东离职,将转型海外业务(兴业证券最高价137.7元)

钛媒体App 1月1日消息,兴业证券全球首席策略分析师、研究院联席院长、海外研究中心总经理张忆东昨日发布声明:“已于日前正式向公司提出辞职申请,即将转型海外业务,专注于香港及海外资本市场的拓展。”公开信息显示…

兴业证券全球首席策略分析师张忆东离职,将转型海外业务(兴业证券最高价137.7元)

绗小包包防摔柔软棉防尘可爱拍立得收纳袋,2025年时尚收纳新趋势是什么?(包包下面的防磨掉了怎么办)

你是否正在寻找一款既能保护拍立得相机📷️又不失可爱的收纳袋呢?本篇文章将详细解读绗小包包这类产品在2025年的特点和选择技巧,帮助你轻松挑选到合适的收纳袋,让你的相机📷️既安全又能随身携带。无论是日常通勤还是旅行出游,都能确保你的相机📷️免受灰尘、碰撞

绗小包包防摔柔软棉防尘可爱拍立得收纳袋,2025年时尚收纳新趋势是什么?(包包下面的防磨掉了怎么办)

海康威视DS-3WF01C-5ACEDL 无线🛜网桥1KM 5.8G 摄像机📹️无线🛜传输适合哪些场景应用?(海康威视ds3wf01c2n配对视频)

海康威视DS-3WF01C-5ACEDL 无线🛜网桥是一款专业的无线🛜传输设备,可实现1KM范围内5.8GHz信号传输。本文深入探讨其应用场景、性能指标及配置权衡,帮助用户根据需求找到最优解。无论是在家庭安防还是企业智能化建设中,这款无线🛜网桥

海康威视DS-3WF01C-5ACEDL 无线🛜网桥1KM 5.8G 摄像机📹️无线🛜传输适合哪些场景应用?(海康威视ds3wf01c2n配对视频)

探寻稳定便捷且有名机构颁发的承修电力设施许可证

一些企业可能会为了降低成本,选择价格较低的许可证办理机构,但这样做可能会面临许可证不稳定、办理流程繁琐等问题。 一个靠谱的品牌不仅能够为企业提供稳定、便捷的许可证办理服务,还能在企业后续的经营过程中提供…

探寻稳定便捷且有名机构颁发的承修电力设施许可证

被骂了半辈子吃软饭,吕良伟70岁这场寿宴,戳穿其在香港的地位(被骂了还会原谅对方吗)

然而,就是这样一个长期被舆论低估甚至讽刺的人,在他70岁生日的那一天,却给整个香港『娱乐圈』️上了重要的一课,证明了什么是真正的地位。 回顾那场生日宴,王晶的到场并非仅仅是为表示支持,而是向吕良伟承认他在…

被骂了半辈子吃软饭,吕良伟70岁这场寿宴,戳穿其在香港的地位(被骂了还会原谅对方吗)