马斯克掀桌子了，最强开源大模型诞生 Grok-2震撼发布！马斯克终于开源了Grok-2。xAI正式宣布向所有人开放Grok-2，并预告Grok-3将在6个月后开源。Grok-2于2024年完成训练，体积超过500GB，其混合专家架构在Grok-1的基础上进行了改进。
此次开源的核心部分包括模型权重和架构。Grok-2的技术特点十分突出：总参数量高达9050亿，在推理时每次激活其中的1360亿参数，使其成为目前最强大的开源模型之一。它支持高达131,072 token的上下文长度，能够一次性处理非常长的文档或对话历史。此外，Grok-2采用混合专家架构，可以在不增加巨大计算成本的前提下大幅扩展模型规模，提升模型能力。预训练数据覆盖了大量的文本和代码，截至2024年初。
关于开源权限，商业用途有一定门槛：只有当关联公司年收入低于一百万美元💵时，才可用于商业用途；超过此门槛的商业用途需获得xAI的单独许可。除非协议条款允许对Grok 2进行修改或微调，否则不得使用材料、衍生品或输出来训练、创建或改进任何基础、大型语言或通用人工智能模型。
Grok-2现已正式开源，用户可在Hugging Face上下载。下载方法是通过SGLang部署，下载权重文件。如果下载成功，该文件夹下应包含42个文件，总大小约为500GB。启动服务器需要安装最新版的SGLang推理引擎（版本≥v0.5.1），并使用特定命令启动推理服务器。这个配置需要8张GPU（每张显存大于40GB）。发送请求时，需要使用正确的对话模板。
网友XFreeze表示，xAI的发展速度惊人。他透露，xAI位于孟菲斯的巨像数据中心仅用122天建成并全面投入运营，配备100,000块英伟达H100 GPU。短短两年内，xAI凭借Grok 4的发布，以极其精简的团队登顶全球最强人工智能之巅。黄仁勋曾称这是“超人”之举，只有马斯克能做到。有网友赞美马斯克和xAI正以光速推动AI的进步，并预告Grok 5训练即将开始。还有网友感叹，这一切就像在实时观看一个科幻梦想成真。Grok 4发布会上，马斯克预告了下一步路线图：8月将发布编码模型，9月发布多模态智能体，10月发布视频生成模型。预计5年内，xAI将打造出5000块H100巨无霸超算。马斯克自信满满地表示，xAI很快就能超越谷歌以外的所有对手，甚至超越谷歌也只是时间问题。
