阿里团队Qwen2.5-1M系列大模型技术报告
报告共计：19页
该技术报告主要介绍了阿里团队的Qwen2.5-1M系列大模型，具体内容包括：
- 模型特点
- 上下文扩展：Qwen2.5-1M系列将上下文长度扩展到100万标记，显著增强了长上下文处理能力，能处理复杂的实际场景，如代码生成、文档研究等。
- 开源与API模型：发布了开源模型Qwen2.5-7B-Instruct-1M和Qwen2.5-14B-Instruct-1M，以及API访问模型Qwen2.5-Turbo。
- 训练与优化
- 预训练
- 数据优化：结合自然和合成数据，通过Fill in the Middle、基于关键词和位置的检索、段落重新排序等合成数据任务，增强模型对远距离依赖性的理解，提高数据效率，降低计算成本。
- 培训策略：采用逐步扩展上下文长度的策略，包括五个阶段，确保模型能有效适应更长的上下文。
- 后训练
- 数据合成：使用合成的长上下文问答对进行训练，提高模型在长上下文任务上的性能。
- 两阶段微调：通过两阶段训练方案，增强模型在长上下文任务上的性能，同时不影响短任务表现。
- 强化学习：使用离线强化学习提高模型与人类偏好的一致性。
- 推理和部署
- 长度外推：采用双块关注（DCA）和YaRN中的注意力缩放方法，实现长度外推，使模型能处理超过训练长度的上下文，DCA在处理长上下文任务时能显著提升模型性能。
- 稀疏注意力推理
- 稀疏注意力机制：基于MInference实现稀疏注意力机制，加速预填充阶段，减少计算成本。
- 与分块预填充和DCA集成：将分块预填充与MInference集成，增加有限VRAM资源内的最大支持序列长度，通过恢复连续相对位置解决DCA中相对位置非连续性问题，优化稀疏配置提高准确性。
- 推理引擎优化：BladeLLM引擎针对长序列预填和解码进行优化，包括内核优化、动态分块管道并行性和调度优化，提高推理性能。
- 评估结果
- 长文本任务：Qwen2.5-1M系列模型在长文本任务中表现出色，优于128K版本模型，Qwen2.5-14B-Instruct-1M在长文本检索任务中超过GPT-4。
- 短文本任务：在短文本任务上，Qwen2.5-7B-Instruct-1M和Qwen2.5-14B-Instruct-1M与128K版本类似，Qwen2.5-14B-Instruct-1M和Qwen2.5-Turbo在短文本任务上与GPT-4o-mini性能相当，且支持更长上下文。
- 速度比较：该方法在处理1M上下文长度时实现了3.2至6.7倍的加速，Qwen2.5-Turbo在性能和效率上具有优势。
总之，Qwen2.5-1M系列模型通过优化训练和推理部署，在长文本和短文本任务中都取得了较好的性能。
以下为报告节选内容
