科技日报记者 王延斌 通讯员 王昱岩
8月5日,全球权威AI性能评测组织公布最新的MLPerf?Storagev2.0基准测试结果,由国家超级计算济南中心(以下简称济南超算)与华为技术有限公司(以下简称华为公司)协同研发优化的高性能存储系统,在三项核心性能指标上刷新世界纪录,位列全球第一。这意味着,在人工智能时代最核心的数据存储与传输能力上,我国自主研发的技术已经走在了世界最前列。
作为人工智能领域公认的存储性能“全球标杆”测试,MLPerf?Storage由国际MLCommons组织制定,其结果被全球顶尖超算中心、云计算厂商和AI实验室广泛采用并认可。
“简单来说,这套系统就像是AI‘超级大脑’的‘数据高速公路’,负责把海量训练数据不间断地输送到成百上千张‘计算显卡’中进行学习。”国家超算济南中心主任王英龙向科技日报记者表示,它因速度之快、通道之多、单通道的承载能力之强创下多项新世界纪录——在3DU-Net训练测试中,单台存储设备的数据传输速度高达每秒698GiB/s,相当于1秒钟传完近700部高清电影;单位机架空间的传输能力达到每秒108GiB/s,也就是说同一个机架上的所有计算单元可以同时满速获取所需数据,不需排队等待数据;单个客户端的传输速度突破每秒104GiB/s,即便是一台计算设备单独工作,也能享受到全球最快的数据供应速度。三项核心指标全部位列世界第一,使我国在大规模AI训练的数据吞吐领域迈入国际领先行列。
王英龙表示,除了“跑得快”,更难得的是,这套系统还解决了一个长期困扰大模型训练的“瓶颈”——断点续训,也就是AI学习中途“存档”和“读档”的能力。过去,存档速度慢,就像一场长途旅行中汽车加油,如果加油慢、油枪少,所有车辆都得排长队,浪费大量时间。而在AI大模型训练中,这个过程叫Checkpointing,即随时保存训练进度、以便中断后快速恢复。济南超算与华为团队攻克了这一高并发读写下的性能瓶颈——在Llama3_70B模型训练测试中,单客户端的读写速度分别达到68.8GiB/s和62.4GiB/s,比国际同类技术快了6.7倍,相当于让加油站的油枪数量和加油速度实现了跨越式提升,让“加油”几乎不再成为瓶颈,大幅缩短了大模型训练时间,也降低了算力和运维成本。
王英龙介绍,双方的合作始终聚焦于国产化算力基础设施的核心需求,从存储系统的横向扩展,到与GPU算力的高效协同,再到数据安全与韧性保障,均取得了突破性进展。目前,这套领先的高性能存储系统已经具备EB级容量扩展能力,可支持多达4096张算力卡协同工作,并通过多维数据管理技术让数据流动效率提升10倍。同时,它在绿色节能方面也做出了创新,系统将高密度存储介质与低能耗设计相结合,在大幅提升性能的同时,减少了能源消耗和碳排放,为可持续发展的AI算力中心建设提供了范例。
据了解,自2025年合作启动以来,济南超算与华为存储团队坚持“科研攻关+产业应用”双轮驱动,先后发布《数据密集型超算应用白皮书》,共同参与IO500国际排名,多次在全球舞台展示国产存储技术的实力。本次MLPerf测试的佳绩,不仅证明国产存储系统已能从容应对万亿参数级大模型的训练需求,还将在医疗影像分析、气候模拟、遥感数据处理等关系民生与国家安全的重要领域广泛应用。