OpenAI GPT-6 训练规模将创历史新高:预估 10 万张 H100 GPU

OpenAI GPT-6 训练规模将创历史新高:预估 10 万张 H100 GPU

3 月 1 日消息,科技媒体 smartprix 昨日(2 月 28 日)发布博文,报道称 OpenAI 在介绍 GPT-4.5 模型的视频中,意外泄露了 GPT-6 训练可能需要的 GPU 数量,暗示其规模将远超以往。

注:在 GPT-4.5 模型介绍视频的 2 分 26 秒处,OpenAI 展示 GPT 4.5 功能的聊天记录中,出现了“Num GPUs for GPT 6 Training”(训练 GPT-6 所需的 GPU 数量)的字样。

虽然视频中未对此进行任何解释,但“Num”可能暗示了一个前所未有的数字,该媒体推测高达 10 万块 GPU。

此前有消息称,OpenAI 在训练 GPT-3 时使用了约 1 万块 GPU,而随着模型的不断迭代,对计算资源的需求也在不断增加。

内部代号为“Orion”的 GPT 4.5 在自然度和减少“幻觉”方面取得了重大进展,其参数量可能超过 3 到 4 万亿。据推测,GPT 4.5 的训练使用了 3 万到 5 万块 NVIDIA H100 GPU,训练成本约 7.5 亿到 15 亿美元(备注:当前约 54.69 亿到 109.37 亿元人民币)。

截图中“Num”的含义尚不明确,它可能代表“Numerous”(大量),暗示 GPT-6 的训练规模远超以往。当然,这也有可能只是 OpenAI 的一个烟雾弹,就像之前用“Strawberry”(草莓)作为 o1 系列的代号一样。

特别声明:[OpenAI GPT-6 训练规模将创历史新高:预估 10 万张 H100 GPU] 该文观点仅代表作者本人,今日霍州系信息发布平台,霍州网仅提供信息存储空间服务。

猜你喜欢

80岁李谷一卸下假发那一刻,我才懂:优雅老去,比装嫩更动人

每次这首歌动人的旋律一响起,大家就知道新的一年来了。 但不知道大家有没有发现,自2023年至今,李谷一已经三次未登台央视春晚了。 自1983年起,李谷一把重心从演出和拍摄电影,转到了创作和演唱歌曲上。李谷一这…

80岁李谷一卸下假发那一刻,我才懂:优雅老去,比装嫩更动人

尹春燕书记 我们等您回家 村民心声盼归(尹春华县长)

怀柔区琉璃庙镇孙胡沟村党支部书记尹春燕为村子引进蜜蜂产业,探索致富新路。7月27日晚,怀柔区遭遇极端强降雨,尹春燕第一时间组织群众紧急避险,在转移过程中,她和丈夫共产党员蔡永章不幸被洪水冲走,目前仍在全力搜救中

尹春燕书记 我们等您回家 村民心声盼归(尹春华县长)

重庆惊现“水晶盒子”!硬核科技风!阿维塔总部大楼

在重庆两江新区数字经济的热土上,阿维塔科技总部以其极具未来感的身姿跃入眼帘。这座约21万平方米的综合性园区,是阿维塔融合研发、办公与商业配套的智慧中枢。八千余平方米的五层空间内,首层是品牌展厅,展示着阿维塔…

重庆惊现“水晶盒子”!硬核科技风!阿维塔总部大楼

陆毅和郭京飞一个娶了姐姐,一个娶了妹妹,结果待遇千差万别?(陆毅和郭京飞是什么关系)

由于鲍莉与姐姐鲍蕾关系深厚,陆毅与郭京飞这对“连襟”也常常在家庭聚会中相遇。或许,这正是婚姻和家庭的美好之处——有些人被宠成了“贵客”,有些人甘心当“厨子”,但只要相爱,哪怕是这样的小小差别,也能成为幸福的…

陆毅和郭京飞一个娶了姐姐,一个娶了妹妹,结果待遇千差万别?(陆毅和郭京飞是什么关系)

罗家英曾花光积蓄抗癌,汪明荃却一分钱没帮,曝财产独立长期AA制(罗家英得的啥)

去年,他在一次采访中透露,两人的财产安排互不干扰,并表示绝不会向汪明荃请求金钱支持。汪明荃也曾考虑过在百年之后凡后事都捐出财产,但这一想法遭到了罗家英的反对,理由是汪明荃还有弟弟和外甥,难道不应该将财产留给他…

罗家英曾花光积蓄抗癌,汪明荃却一分钱没帮,曝财产独立长期AA制(罗家英得的啥)