马斯克用20万张H100训练出1400分大模型

马斯克用20万张H100训练出1400分大模型

本文由半导体产业纵横(ID:ICVIEWS)综合

xAI发布最新一代大模型Grok 3。

马斯克旗下人工智能公司xAI发布了其最新一代大模型 Grok 3,目前Grok已经推出了专属的 Grok.com 网页,供用户体验Grok系列模型。

马斯克称,Grok 3能力较前代产品Grok 2提升了“一个数量级”,并且是一款“追求极致真实”的 AI。

20万张H100训练出1400分大模型

Grok 3早期化名“巧克力”打榜LMSYS,一举夺魁并成为唯一一个得分超1400的模型。竞技场(lmarena.ai)官方评价Grok 3是首个突破1400分的模型,并且在所有类别中排名第一。

去年马斯克剧透,Grok 3在10万张H100上进行训练,是首个达到如此训练集群规模的模型。这比Grok 2多了数倍不止,要知道Grok 2训练大约使用了2万个H100。但是令人震惊的是,实际上Grok3训练过程中集群规模再次扩展到了20万卡。

Grok 3比Grok 2快十倍,在Grok3中大规模安装更多计算能力使其能够在更短的时间内运行大数据集,同时提供更高的准确性。

此次推出的Grok 3有满血和mini两个版本。在数学推理、科学逻辑推理和代码写作等能力表现方面,Grok-3在多项Benchmark测试中均取得了比DeepSeek-v3、GPT-4o、Gemini-2 pro更优的效果。

在AIME'24数学能力测试中,Grok-3取得了52分,明显高于DeepSeek-V3的39分。在GPQA科学知识评估中,Grok-3以75分的优异成绩领先DeepSeek-V3的65分。此外,在LCB Oct-Feb编程能力测试中,Grok-3也以57分的成绩超越了DeepSeek-V3的36分。

除此之外,在Grok 3和mini的基础之上,xAI团队还打造了两款推理模型。

马斯克团队指出,大约一个月前,Grok 3的预训练已经完成,从那时起其一直在努力将推理能力融入Grok 3模型中。目前基于mini的推理模型(Grok 3 mini Reasoning)已经比较成熟,而基于满血版的推理模型(Grok 3 Reasoning Beta)还处在Beta阶段。

值得注意的是,xAI团队不仅在硬件上进行了升级,还在软件层面进行了优化。Grok 3 通过改进训练流程,引入合成数据集、自我纠错以及强化学习等技术,进一步提升了模型的性能。这些技术的综合应用,使得 Grok 3 在处理复杂任务时表现得更为出色。

然而,原计划在此次发布中推出的语音模式并未如期上线。马斯克在 X 平台上解释称:“语音模式目前还存在一些问题,预计将在大约一周后推出,但它非常出色。”并计划在几周后将Grok 3模型和DeepSearch功能整合到 xAI 的企业 API 中。

此外,xAI计划在最新版本完全成熟后立即开源其Grok 模型的先前版本,马斯克预计Grok-3的过渡将在几个月内完成。

目前,X 平台的 Premium + 订阅用户将率先体验到 Grok 3,而其他功能则被整合到 xAI 推出的名为 SuperGrok 的订阅服务中。SuperGrok 的订阅价格为每月 30 美元或每年 300 美元,用户可获得额外的推理和 DeepSearch 查询权限,以及无限量的图像生成功能。

三个月将数据中心容量翻倍

据报道,xAI计划与戴尔达成50亿美元协议,为Grok 3提供AI服务器支持。xAI即将与戴尔科技达成协议收购价值超过50亿美元的配备英伟达GB200芯片的AI优化服务器,此次收购旨在满足Grok 3和其他AI应用程序日益增长的计算需求。

在发布会上,马斯克团队透露xAI在短短三个月将数据中心容量翻倍,使用了20万个英伟达H100 GPU打造出Grok 3。

马斯克团队表示,去年4月马斯克决定xAI要想取得成功并打造出最佳 AI,唯一的办法就是创建自己的数据中心。我们花了122天的时间才让第一批10万个GPU启动并运行。我们很快意识到要构建我们设想的 AI,需要将集群规模扩大一倍。因此,我们在短短92天内就将容量翻了一番。

值得注意的是,目前xAI正在田纳西州孟菲斯建设的超级计算机Colossus项目中。Colossus用于支持xAI的AI大模型Grok,xAI计划扩展到至少100万块GPU,并已采用戴尔与超微电脑的服务器设备。去年12月戴尔曾披露,已在该项目部署数万个GPU,并致力于在剩余工程中获取"大部分份额"。

戴尔去年11月末公布,在截至2024年11月1日的第三财季,交付AI服务器29亿美元,推动包括AI系统在内的服务器和网络业务当季收入增长58%至74亿美元。分析师预计,在截至2025年1月的2025财年,戴尔的AI服务器出货量价值将超过100亿美元,并预计,AI服务器2026财年将为戴尔创收140亿美元,一年收入增长约40%。

*声明:本文系原作者创作。文章内容系其个人观点,我方转载仅为分享与讨论,不代表我方赞成或认同,如有异议,请联系后台。

特别声明:[马斯克用20万张H100训练出1400分大模型] 该文观点仅代表作者本人,今日霍州系信息发布平台,霍州网仅提供信息存储空间服务。

猜你喜欢

水滴智店:田径场管理系统赛事赞助管理:企业权益与曝光数据统计(水滴智能实业有限公司)

对于田径场管理系统而言,如何高效管理赛事赞助、保障企业权益并精准统计曝光数据,是提升赛事商业价值的关键环节。某次田径锦标赛后,系统数据显示某饮料品牌在终点区域的曝光效果最佳,这为下届赛事赞助位定价提供了重要依…

水滴智店:田径场管理系统赛事赞助管理:企业权益与曝光数据统计(水滴智能实业有限公司)

阿里巴巴2026秋季校招:7000个岗位,超六成为AI相关!(阿里巴巴最新活动)

令人瞩目的是,此次招聘中,AI相关岗位的比例超过了60%,显示出阿里巴巴对未来科技发展的重视。这种趋势不仅反映了阿里巴巴在AI领域的持续投入,也标志着企业在人才战略上的转变,越来越多的公司开始将AI视为未来发…

阿里巴巴2026秋季校招:7000个岗位,超六成为AI相关!(阿里巴巴最新活动)

CHO-C-PEG2-C-CHO,双醛基-聚乙二醇可实现蛋白质的交联、聚合或构象调控

该化合物结构为:OHC-(CH₂CH₂O)ₙ-CHO,其中PEG链段为线性、柔性并具备良好亲水性的分子骨架,两端醛基活性强,易与蛋白质、聚合物、肽链、抗体等生物大分子上的胺基反应生成亚胺键(-C=N-)。 …

CHO-C-PEG2-C-CHO,双醛基-聚乙二醇可实现蛋白质的交联、聚合或构象调控

如何让血糖恢复正常(怎么恢复血糖)

血糖恢复正常可以通过调整饮食、增加运动、控制体重、监测血糖和药物治疗等方式实现。血糖异常可能与胰岛素抵抗、不良生活习惯、遗传因素、胰腺疾病和内分泌紊乱等因素有关。 选择低升糖指数食物如燕麦、糙米、西蓝花等,减少精制糖和饱和脂肪摄入

如何让血糖恢复正常(怎么恢复血糖)

【今跃教育】Playwright MCP 增强 Bug 修复(绍兴今跃教育信息咨询有限公司)

一个复杂的前端交互 Bug,涉及特定浏览器环境下的异步状态管理问题。 1. 问题定位(自动化)"使用Playwright复现用户报告的购物车数量更新异常问题" 运行 Playwright 尝试复现问题 …

【今跃教育】Playwright MCP 增强 Bug 修复(绍兴今跃教育信息咨询有限公司)