背景：评测集局限性的深层分析
尽管 GPT-4o 模型被冠以 "竞赛级" 头衔，甚至有声音称其算法水平接近 ACM 区域赛金牌选手，但实际在面对未经大量公开数据训练的、更高难度的信息学奥赛级别问题时，其通过率却往往低至个位数，与 985 级别高校 ACM 校队成员的平均通过率存在显著差距。
当部分评测宣称 Claude 3.5 Sonnet 可替代中级开发人员时，它在动态规划等高难度题型中错误率却高达 80% 以上，且无法独立完成需数学建模的复杂竞赛题。
诸如文心一言、通义千问等模型在 MBPP 基础题库中通过率可达 90% 以上，但移植至 Codeforces Div.2 C 级题目时，通过率却不足 15%，远低于人类选手平均 70% 的水平。
这些鲜明的对比，共同指向一个核心问题：当前对 LLM 编程能力的评估，存在明显的 "宣传与现实的认知鸿沟"。这种差异不仅源于模型能力边界的复杂性，也暴露出现有评估体系的诸多局限性。具体表现为：
评测集 “饱和” 与区分度不足：传统评测集（如 HumanEval、MBPP）由于模型能力的快速提升，通过率普遍超过 90%，已无法有效区分最先进模型的细微优劣。
数据 “泄漏” 风险： 尽管一些新评测集（如 Codeforces、USACO、LeetCode）引入了高难度题目，但由于大模型预训练数据包含大量互联网公开内容，这些题目可能已被模型 “见过”，导致评测结果虚高，无法真实反映其推理能力。
人机对比的局限性：现有基于 Elo 评分体系的模型与真人选手对比方法，存在周期长、选手水平波动大、复现性差等问题，难以提供精确且可靠的评估。
效率指标的粗略性： 部分评测虽引入运行时间、内存等效率指标，但通常仅为粗略的平均分，无法细致反映模型在不同类型题目上的性能差异。
为了解决上述这些评估困境、评测出全球顶尖模型真实的编程能力， Meituan-M17 团队推出了更真实、更具区分度的评估基准 OIBench 数据集，并托管于 AGI-Eval 评测社区，并在 Huggingface 和 GitHub 上开源。基于此数据集，我们对全球 18 个主流大模型的算法编程能力进行了系统评测并量化得分，详细评分榜单如下所示，可以看到全球顶尖大模型距离以往所宣称的编程能力还存在很大差距，哪怕是最高分的 o4-mini-high 也仅仅只有 36.35 分，距离人类竞赛选手的水平还相差甚远，甚至很多模型只有个位数的得分。
