马斯克用20万张H100训练出1400分大模型

今日霍州(www.jrhz.info)©️

本文由『半导体』产业纵横(ID:ICVIEWS)综合

xAI发布最新一代大模型Grok 3。

马斯克旗下人工智能公司xAI发布了其最新一代大模型 Grok 3,目前Grok已经推出了专属的 Grok.com 网页,供用户体验Grok系列模型。

马斯克称,Grok 3能力较前代产品Grok 2提升了“一个数量级”,并且是一款“追求极致真实”的 AI。

20万张H100训练出1400分大模型

Grok 3早期化名“巧克力”打榜LMSYS,一举夺魁并成为唯一一个得分超1400的模型。竞技场(lmarena.ai)官方评价Grok 3是首个突破1400分的模型,并且在所有类别中排名第一。

今日霍州(www.jrhz.info)©️

去年马斯克剧透,Grok 3在10万张H100上进行训练,是首个达到如此训练集群规模的模型。这比Grok 2多了数倍不止,要知道Grok 2训练大约使用了2万个H100。但是令人震惊的是,实际上Grok3训练过程中集群规模再次扩展到了20万卡。

Grok 3比Grok 2快十倍,在Grok3中大规模安装更多计算能力使其能够在更短的时间内运行大数据集,同时提供更高的准确性。

此次推出的Grok 3有满血和mini两个版本。在数学推理、科学逻辑推理和代码写作等能力表现方面,Grok-3在多项Benchmark测试中均取得了比『DeepSeek』-v3、GPT-4o、Gemini-2 pro更优的效果。

今日霍州(www.jrhz.info)©️

在AIME'24数学能力测试中,Grok-3取得了52分,明显高于『DeepSeek』-V3的39分。在GPQA科学知识评估中,Grok-3以75分的优异成绩领先『DeepSeek』-V3的65分。此外,在LCB Oct-Feb编程能力测试中,Grok-3也以57分的成绩超越了『DeepSeek』-V3的36分。

除此之外,在Grok 3和mini的基础之上,xAI团队还打造了两款推理模型。

马斯克团队指出,大约一个月前,Grok 3的预训练已经完成,从那时起其一直在努力将推理能力融入Grok 3模型中。目前基于mini的推理模型(Grok 3 mini Reasoning)已经比较成熟,而基于满血版的推理模型(Grok 3 Reasoning Beta)还处在Beta阶段。

值得注意的是,xAI团队不仅在硬件上进行了升级,还在软件层面进行了优化。Grok 3 通过改进训练流程,引入合成数据集、自我纠错以及强化学习等技术,进一步提升了模型的性能。这些技术的综合应用,使得 Grok 3 在处理复杂任务时表现得更为出色。

然而,原计划在此次发布中推出的语音模式并未如期上线。马斯克在 X 平台上解释称:“语音模式目前还存在一些问题,预计将在大约一周后推出,但它非常出色。”并计划在几周后将Grok 3模型和DeepSearch功能整合到 xAI 的企业 API 中。

此外,xAI计划在最新版本完全成熟后立即开源其Grok 模型的先前版本,马斯克预计Grok-3的过渡将在几个月内完成。

目前,X 平台的 Premium + 订阅用户将率先体验到 Grok 3,而其他功能则被整合到 xAI 推出的名为 SuperGrok 的订阅服务中。SuperGrok 的订阅价格为每月 30 美元💵或每年 300 美元💵,用户可获得额外的推理和 DeepSearch 查询权限,以及无限量的图像生成功能。

三个月将『数据中心』容量翻倍

据报道,xAI计划与戴尔达成50亿美元💵协议,为Grok 3提供AI『服务器』支持。xAI即将与戴尔科技达成协议收购价值超过50亿美元💵的配备『英伟达』GB200『芯片』的AI优化『服务器』,此次收购旨在满足Grok 3和其他AI应用程序日益增长的计算需求。

在发布会上,马斯克团队透露xAI在短短三个月将『数据中心』容量翻倍,使用了20万个『英伟达』H100 GPU打造出Grok 3。

马斯克团队表示,去年4月马斯克决定xAI要想取得成功并打造出最佳 AI,唯一的办法就是创建自己的『数据中心』。我们花了122天的时间才让第一批10万个GPU启动并运行。我们很快意识到要构建我们设想的 AI,需要将集群规模扩大一倍。因此,我们在短短92天内就将容量翻了一番。

值得注意的是,目前xAI正在田纳西州孟菲斯建设的超级计算机Colossus项目中。Colossus用于支持xAI的AI大模型Grok,xAI计划扩展到至少100万块GPU,并已采用戴尔与超微电脑的『服务器』设备。去年12月戴尔曾披露,已在该项目部署数万个GPU,并致力于在剩余工程中获取"大部分份额"。

戴尔去年11月末公布,在截至2024年11月1日的第三财季,交付AI『服务器』29亿美元💵,推动包括AI系统在内的『服务器』和网络业务当季收入增长58%至74亿美元💵。分析师预计,在截至2025年1月的2025财年,戴尔的AI『服务器』出货量价值将超过100亿美元💵,并预计,AI『服务器』2026财年将为戴尔创收140亿美元💵,一年收入增长约40%。

*声明:本文系原作者创作。文章内容系其个人观点,我方转载仅为分享与讨论,不代表我方赞成或认同,如有异议,请联系后台。

特别声明:[马斯克用20万张H100训练出1400分大模型] 该文观点仅代表作者本人,今日霍州系信息发布平台,霍州网仅提供信息存储空间服务。

猜你喜欢

心理行业『数字化』服务商哪家靠谱:TOP10服务商权威解析(数字心理学课程)

一是场景适配能力,需结合自身场景(个人机构学校企业)选择精准覆盖核心需求的服务商,避免盲目追求“大而全”;二是技术落地实力,核心考察技术是否真正赋能服务,如 AI 工具的实际效果、大数据分…

心理行业『数字化』服务商哪家靠谱:TOP10服务商权威解析(数字心理学课程)

志信电子取得FFC排线连接结构专利,使其连接稳固避免脱落导致损坏(志信科贸有限公司)

国家知识产权局信息显示,南阳市志信电子科技有限公司取得一项名为“一种FFC排线连接结构”的专利,授权公告号CN223858573U,申请日期为2025年1月。 专利摘要显示,本实用新型公开了一种FFC排线连接…

志信电子取得FFC排线连接结构专利,使其连接稳固避免脱落导致损坏(志信科贸有限公司)

万兆光芯,十六路千兆独享——汉源高科万兆2光16电LED大屏光纤收发器重新定义LED大屏远距传输架构(万兆光纤参数)

汉源高科(北京)科技有限公司以前瞻性技术视野,推出万兆2光16电LED大屏光纤收发器HY5700-52216X-LC20AB,凭借“2×10G光口+16路物理隔离千兆电口”的创新架构,彻底重构LED大屏信…

万兆光芯,十六路千兆独享——汉源高科万兆2光16电LED大屏光纤收发器重新定义LED大屏远距传输架构(万兆光纤参数)

优控S-700A真彩工业『触摸屏』:4.3510寸MODBUS RTU通讯的人机界面,选型到底该注意哪些要点?(优控官网)

优控S-700A系列工业『触摸屏』是工业自动化领域不可或缺的关键设备。本文详细分析其4.3510寸尺寸版本的特点,帮助您根据具体应用场景精准选型。无论是预算限制还是功能性需求,我们都为您提供全面的选购指导。

优控S-700A真彩工业『触摸屏』:4.3510寸MODBUS RTU通讯的人机界面,选型到底该注意哪些要点?(优控官网)

兴和发热护膝新旧款哪个更适合2026冬季保暖?(兴和护膝 普通款和保温款)

兴和发热护膝的新旧款如何选择?本篇从材料、发热效果、设计细节入手,分析2026年最适合冬季的款式,助您选对适合的产品,享受舒适温暖的户外运动体验。

兴和发热护膝新旧款哪个更适合2026冬季保暖?(兴和护膝 普通款和保温款)