OpenAI o3-mini模型通过大规模强化学习训练，具备推理能力，在安全和性能方面有新突破，同时也带来风险。本报告对其安全工作、测试评估、多语言能力等进行了详细分析。
1. 模型概述与训练：OpenAI o系列模型通过大规模强化学习训练，以推理链条思考，o3-mini是其中最新模型，擅长编码，计划应用于互联网搜索和ChatGPT。它在多种数据集上预训练，数据处理包含严格过滤以保障质量和减轻风险。
2. 测试范围与评估：评估涵盖o3-mini-near-final-checkpoint和启动检查点。在安全评估中，o3-mini在不允许内容评估、越狱评估、幻觉评估、公平性和偏见评估等方面，与GPT-4o、o1-mini相比，表现持平或更优，在拒绝有害内容、抵抗越狱、减少幻觉和降低偏见上有不错表现。 外部红队测试中，成对安全比较显示o3-mini与o1表现相当且优于GPT-4o；越狱竞技场测试里，其平均用户攻击成功率与o1-mini相当，但高于GPT-4o和o1。
3. 预备框架评估：预备框架评估将o3-mini（预减灾）模型整体分类为中等风险，涵盖说服力、CBRN和模型自主性等方面，网络安全方面为低风险。为此采取多种减灾措施，如过滤有害训练数据、更新安全技术、加强监测等。在具体风险类别评估中，网络安全方面，o3-mini在CTF比赛中完成部分高中和大学水平任务；化学和生物威胁制造方面，能协助专家但存在风险；放射性和核威胁制造方面，后处理模型协助开发武器能力有限；说服方面，具备人类水平说服力但未达高风险阈值；模型自主性方面，在部分任务表现良好，但缺乏开放式ML研究能力。
4. 多语言表现：在多语言能力评估中，o3-mini使用专业人类翻译员将MMLU测试集翻译成14种语言进行测试，结果显示与o1-mini相比有显著提升。
5. OpenAI o3-mini在能力和安全基准方面表现强大，但因其被确定为中等风险，OpenAI加入保障措施和安全缓解措施。迭代的现实世界部署被认为是将受技术影响人群纳入AI安全对话的有效方式。
