（来源：机器之心）
“知人者智，自知者明。”——《道德经》
古人早已洞见：真正的人类智慧，不仅仅在于公式推演、掌握技艺，更是能理解他人、洞察人心。今天的『大语言模型』已能在代码、数学与工具使用上出色地完成任务，然而距离成为真正的用户伙伴，它们依旧缺少那份 “知人” 的能力。这主要源于现实交互远比解题更加复杂：
现实交互中，用户目标常常未在最初完全成形（underspecification）、而是在多轮对话中逐步显露（incrementality）、并且以含蓄 / 间接的方式表达（indirectness）。
在这种不确定、动态、多目标的语境里，模型不止要会解决用户需求，更要主动澄清（clarification）、持续适配（adaptation）、善用工具（tool-use）并做出明智的权衡（decision-making）。
这正是智能体面临的下一个时代课题：从 “会解题” 迈向 “懂用户”。而要真正回答这一课题，我们需要全新的动态评测框架与训练机制：不仅能测量模型在交互中的表现，还能驱动其学会在用户不确定与多目标的世界里，问之有道，断之有衡，答之有据。为此，来自 UIUC 与 Salesforce 的研究团队提出了一套系统化方案：
UserBench —— 首次将 “用户特性” 制度化，构建交互评测环境，用于专门检验大模型是否真正 “懂人”；
UserRL —— 在 UserBench 及其他标准化 Gym 环境之上，搭建统一的用户交互强化学习框架，并系统探索以用户为驱动的奖励建模。
二者相辅相成，把 “以用户为中心” 从理念落地为可复现的流程、接口与评测指标。
UserBench 论文链接：https://arxiv.org/pdf/2507.22034
UserBench 代码仓库：https://github.com/SalesforceAIResearch/UserBench
UserRL 论文链接：https://arxiv.org/pdf/2509.19736
UserRL 代码仓库：https://github.com/SalesforceAIResearch/UserRL
UserBench
先把 “用户价值” 量化，才能倒逼智能体进化
核心思想
UserBench 的核心出发点是：真正的智能体价值不在于完成任务本身，而在于是否能够理解用户、服务用户。不同于传统评测大多进行的 “做题比赛”，其通过刻画三类 “用户特征”，并将它们嵌入到可复现的环境与标准化接口之中，从而把 “用户价值” 从抽象理念转化为可量化的研究对象。
1. 设计原则
长期以来，智能体的评测大多集中在工具调用与任务完成，但却鲜少触及一个更根本的问题：模型是否真正对齐了用户的潜在与动态意图。
UserBench 的设计正是为了解决这一缺口。它把 “用户真实交互三大特征” 作为评测核心：
模糊性（underspecification）：用户目标往往并未完整表达；
渐进性（incrementality）：意图需要在对话中逐步显露；
间接性（indirectness）：用户偏好常常通过隐含线索体现。
在这样的环境里，模型不再是 “照题答题”，而是必须主动追问、澄清约束，并在复杂条件下做出连贯而明智的决策。
UserBench 设计与交互流程示意图
2. 环境与数据构造
UserBench 的标志性设计是旅行规划任务，覆盖五个子场景。每个维度都设置了数十条隐式偏好表述，如 “行程很紧” 暗含 “直飞 / 少中转”，要求模型在与环境中的模拟用户进行交互时，需要理解用户每一句话背后的语义逻辑。同时，环境中内置了稳定数据库后段，并且搜索返回采用了混合式选项进一步增加了模型认知难度：
正确项：完全满足全部偏好；
错误项：违背至少一条偏好；
噪声项：与需求不符或信息缺失。
这使得模型必须学会过滤噪声、权衡约束，而非直接机械化地比对。UserBench 同时也进行了数据难度分层，根据用户偏好的复杂程度涵盖了 Easy/Medium/Hard 三档，这种设计让其既保有真实性（场景、语言与需求均来自真实语料指导下的 LLM 用户模拟），又具备实验可控性。
3. 以工具为界面：标准化交互接口
以往针对模型，用户以及环境的三方交互接口复杂。而在文章中，这种复杂交互被抽象为了三类原语操作：
Action：与用户对话（澄清、追问、确认偏好）；
Search：检索数据库（返回混合候选集，模拟真实世界的不完美检索）；
Answer：提交推荐（直接完成用户需求）。
这三类操作高度浓缩了 “理解 — 检索 — 决策” 的链路，使不同任务可以在同一坐标系下被评估与比较。在 UserRL 训练框架中，这个标准化接口被保留并得以进一步拓展，使模型训练也变得可以自由定制化和拓展。
UserBench 上不同模型主要评测结果以及分析指标
4. 评价指标与关键发现
UserBench 的评分体系兼顾结果与过程：
核心指标：归一化得分。对于每一项旅行需求，在数据库中选到最优解记 1.0；选到正确但次优解记 0.8；其余记 0。在一个问题中用户需求可能会涵盖多个场景（例如交通和酒店住宿），需要被测试模型深入挖掘，理解偏好，再进行判断和抉择。
除此之外，文章还提出了若干过程指标以进行综合分析：
Valid Search / Action Attempt：搜索与用户对话操作的有效率；
Preference Elicited：偏好在用户交互是否被主动 / 被动引出。
主要结论：模型并非输在 “不会算”，而是常常没能问对问题、没能挖出关键信息。换言之，真正的挑战不是推理链，而是智能体与人的交互中进行有效的 “用户价值” 提炼与捕捉。
关键发现
单选比多选难很多：对于每一项旅行需求，如果把模型可回答的次数限制为一次，平均分数下滑约 40%，暴露了 “只能给一次答案” 时的抉择困难。
用户偏好揭示率普遍偏低：主流模型仅～20% 的答案完全贴合全部用户意图，即便是强模型，通过主动互动挖掘到的偏好不到 30%，显示了当下模型 “主动问对问题” 能力仍然欠缺。
会用工具 ≠ 真懂用户：模型普遍有效搜索 > 80%，但有效对话显著更低，说明 “循证澄清” 的难度更高。
难点在 “单一维度的偏好多而复杂”：当总偏好数固定时，把偏好更平均地分散到多个旅行需求中更容易，而集中在少数需求上会显著拉低分数，这揭示了本质挑战来自局部约束的组合复杂度。
更多对话轮数≠更好表现：盲目拉长交互轮数并不能带来收益；同时，命中答案的 “时效性”（更早给出有效答案）与整体模型对话质量也并不总是正相关：小模型 “早早猜中” 整体也不如大模型的 “稳扎稳打”。
盲目增加交互轮数并不能增强交互质量
UserRL
把 “能测试” 扩展为 “会训练”
核心思想
UserRL 的出发点相比更加直接：在 UserBench 抽象出的三个原语接口之上，构建一个统一的 gym 环境，把 User-in-th-Loop 的多轮交互转化为一个可训练的强化学习问题。这意味着，智能体不再只是完成一次问答，而是要在一个有明确定义的交互环境中，通过多轮对话和工具调用来优化回报。
UserRL 中进行训练的八个用户中心场景设计
1. 八大 Gym Environments：能力光谱的全覆盖
UserRL 对接了八类环境，覆盖从个性化推荐到复杂推理的多维能力：
TravelGym：侧重个性化偏好挖掘与多目标权衡；
TauGym：强调工具编排与用户任务实现；
PersuadeGym：模拟论证与说服场景，关注对抗式对话能力；
TurtleGym：创造性推理环境（“海龟汤” 游戏）；
TelepathyGym：意图猜测与假设检验；
FunctionGym：数理模式识别与规律发现；
IntentionGym：针对真实场景的意图澄清；
SearchGym：外部知识检索与基于检索的问答。
所有环境都统一在 Action / Search / Answer 的接口下，但考察指标有所差异。这种统一接口 + 多元任务的设计，使得 UserRL 既能横向比较不同方法，又能纵向推动能力迁移。
UserRL 完整训练框架示意图
2. 用户模拟与多轮 Rollout
在每个环境中，用户同样由 LLM 进行模拟，并且可以更换不同用户模拟模型，以实现交互的多样性。UserRL 框架的核心特点包括：
确定性任务状态 + 可验证奖励函数；
自然语言互动，保留了动态模拟用户对话的开放性；
多轮 rollout，让模型在交中做出策略性的交互选择。
3. 奖励建模：让过程价值变成可学信号
在 UserRL 中，我们重点探索了双层奖励设计：回合层（Turn-level）以及轨迹层（Trajectory-level）。在回合层中，我们重新映射 Gym 环境在每一轮中反馈的奖励信号，探索了多种方法以区分不同层的重要性：
Naive：直接用环境奖励，但往往非常稀疏，在实际环境中并不适合训练。
Equalized：为所有回合赋予同样的奖励，确保所有铺垫性动作不被忽视。
Reward-to-Go (R2G)：把未来的预期奖励收益折扣回流，以体现当前轮次对于未来奖励的价值。
Exponential Mapping (EM)：对原始奖励做非线性映射，让某些小进展也能带来正反馈奖励信号。
在轨迹层中，我们将每一轮的奖励反馈整合成与用户多轮交互的总体得分，以便于后续适配 GRPO 等下游各种 RL 算法，其中我们主要探索了两种整合方式：
Sum：直接累积每回合的奖励，以衡量整体任务完成度。
R2G：对早期进展赋予更高价值，更强调任务完成效率。
在实际训练中这两层奖励可以灵活组合以适配不同交互任务。
UserRL 训练主要试验结果
4. 评价指标与关键发现
文章主要采用了 GRPO 算法进行优化：在同一 query 下采样多条轨迹，组内归一化优势，再结合回合与轨迹奖励进行联合优化。同时，在 RL 训练之前，模型预先进行了 SFT 小规模优化，实验发现 SFT 冷启动能够有效帮助后续 RL 训练。
UserRL 用其中的五个 Gym 的训练集数据进行训练，另外三个 Gym 则作为 OOD 环境进行测试。所有主实验均采用 Qwen3-32B 作为用户模拟。不同任务的测试指标不尽相同，但是都是以准确度作为衡量基础。
主要结论：模型的提升并非来自更复杂的算力堆叠，而是得益于对过程价值的刻画与利用。换言之，真正的突破点不在于 “终局答案对不对”，而在于能否在多轮交互中持续累积小进展、尽早对齐用户意图，并把这种过程性价值转化为学习信号。
关键总结果
回合均等 + 轨迹 Reward-to-Go 在 4B/8B 模型上最稳健、平均最好；反观回合均等 + 轨迹 Sum 最弱，说明轨迹级计分比回合级细分更具有决定性价值。
经过 UserRL 训练的 Qwen3 在 TravelGym、PersuadeGym、IntentionGym 等交互型任务上超过强闭源模型；跨 8 个 gym 的平均也领先闭源对照，体现出 “针对用户交互的 RL 训练” 能实打实提升能力。
SFT 冷启动是必要条件：先做 SFT 再 RL，能显著避免早期坍塌，部分任务收益超 100%。
用户模拟器选择很关键：用 GPT-4o 做模拟用户训练的模型下游更强；但 Qwen3-32B 作为开源模拟器具备性价比高且可迁移的优势。
SFT 冷启动（左侧对照）与 GPT-4o 作为模拟用户（右侧对照）均能带来更好的 RL 效果
结语：从 “完成任务” 到 “成就用户”
UserBench 提供了一面 “明镜”，让我们得以量化模型是否真正理解用户；UserRL 则把这面镜子变成 “磨刀石”，推动模型在交互中不断迭代，学会在模糊与多目标之间提炼价值。
《论语》有云：“君子和而不同。” 未来的通用智能体，也应当在理解用户多元价值的同时，学会和而不同：既能尊重偏好，又能提供建设性选择；既能满足需求，又能引导更优解。这，才是通向真正通用智能的必要一课。
所有环境、数据以及训练框架已开源，欢迎研究人员探索。
