随着大模型推理成本持续下降和国产芯片的飞速发展，政务、金融、医疗等对数据安全高度敏感行业，正加速推进推理模型的国产化本地部署。面对市场上型号众多、性能差异显著的国产智算芯片，如何高效、准确地压测模型推理性能，成为筛选出兼具高性能与低成本的芯片的关键挑战。
为攻克这一难题，中移齐鲁创新院自主研发“迅测”芯片推理性能自动压测工具，该工具创新性地构建了“配置即测试”的压测模式，并集成了强大的数据自动解析能力，旨在破解国产芯片快速选型的瓶颈。“迅测”工具的应用带来了显著的效率变革，单轮测试所需的人工值守时长从平均8小时大幅降至0.5小时，数据整理耗时减少70%，整体芯片选型效率平均提升3倍。
“迅测”的核心竞争力体现在两大技术亮点：一方面是基于vLLM的智能自动压测，另一方面是压测数据自动汇总及可视化分析。
通过智能调度vLLM引擎，实现“配置即测试”的一键化操作。用户仅需设定并发请求量，系统即可自动执行多轮压力测试。工具同时支持本地和宿主机远程两种压测模式，灵活适配不同芯片的单节点或多节点部署需求。工程师通过单次配置即可启动全流程任务，彻底解决了传统人工测试干预频繁、效率低下的问题。
采用标准化数据存储机制，自动计算并生成错误率、单路输出速度等核心性能指标，确保跨不同芯片平台及异构环境的测试结果具有可比性。其内嵌的数据可视化引擎直观呈现芯片性能差异，结果一目了然。此外，强大的自动化日志解析技术有效解决了海量压测日志需人工耗时汇总与格式整理的痛点。
截至目前，中移齐鲁创新院已成功利用“迅测”工具，完成了DeepSeek系列大模型在天数智芯、华为昇腾、壁仞科技、瀚博半导体等多个主流国产计算平台上的推理性能测试。该工具生成的精细化对比报告，包含多项关键参数的对比矩阵，可为业界进行大模型推理芯片选型提供重要参考依据，有力支撑国产算力生态建设。
