全网爆火的『DeepSeek』「UE8M0 FP8」,原来『英伟达』早已支持(deepsea )

NVIDIA PTX ISA(并行线程执行,PTX 指令集)文档里面早就已经出现了 .ue8m0 这个数据类型

地址:

https://docs.nvidia.com/cuda/parallel-thread-execution/#mma-scaling-kind-type-valid-combination

UE8M0 fp8 并不是 『DeepSeek』 独创

至少从 PTX 8.0/9.0(对应 Hopper/Ada 架构 GPU)开始,NVIDIA 已经在 ISA 级别支持 .ue8m0

它就是 NVIDIA 官方 scale 数据格式之一,用在 FP8/FP4 混合精度量化的场景

NVIDIA Hopper 架构 (H100 系列)

H100 GPU(2022 年发布),面向『数据中心』和 AI 训练/推理,是 首个官方支持 FP8 (E4M3 / E5M2) 混合精度 的 GPU 架构,在 PTX 指令里引入了 .ue8m0 作为 scale data type。

NVIDIA Ada Lovelace 架构 (RTX 40 系列)

RTX 4090 / 4080 / 4070 等消费级显卡(2022 年底发布),面向游戏和 AI 推理。同样在底层指令集里继承了 .ue8m0、E4M3/E5M2 的支持。

也就是说技术上:UE8M0 已经在 NVIDIA 硬件生态存在

因此个人觉得『DeepSeek』 这句话应该这么理解

这相当于『DeepSeek』 V3.1 把原本只在硬件/内核实现层面存在的 scale 表达方式,提升到模型部署和训练标准,适配了国产下一代『芯片』,但『DeepSeek』的确是在走别人没走过的路

特别声明:[全网爆火的『DeepSeek』「UE8M0 FP8」,原来『英伟达』早已支持(deepsea )] 该文观点仅代表作者本人,今日霍州系信息发布平台,霍州网仅提供信息存储空间服务。

猜你喜欢

回顾张靓颖“齐臀小短裙”引争议,牵扯出了许多女星们的大胆『穿搭』

随着女星们大胆『穿搭』的激增,时尚产业也应该对其影响有更多的思考。如何在追求个性的同时找到与社会和谐共存的平衡,或许是未来时尚发展中一个需要共同思考的问题。同时,我们也期望整个时尚产业更加开放,拥抱多元,让每个…

回顾张靓颖“齐臀小短裙”引争议,牵扯出了许多女星们的大胆『穿搭』

这样做,小雪不“冷”场(小雪怎么样)

❄️ 点击展开 ⬆️ …

这样做,小雪不“冷”场(小雪怎么样)

当一个女人特别想一个男人的时候会怎样?两个动作很明显,难以掩盖!(当一个女人特别依赖一个男人的时候怎么办)

你看她今天又换了三次头像——从清晨的樱花到午后的咖啡,最后定格在深夜的星空。共同朋友随口提了句“他最近……”,她正搅动奶茶的手突然就慢了下来——珍珠在杯底转着圈,像她心里荡开的涟漪。 有位姑娘悄悄关注了他所有…

当一个女人特别想一个男人的时候会怎样?两个动作很明显,难以掩盖!(当一个女人特别依赖一个男人的时候怎么办)

一次性甲亢TRAB会阳性吗(甲亢一次性治疗对身体有什么副作用)

一次性甲亢TRAB检测可能出现阳性结果。TRAB即促甲状腺激素受体抗体,阳性通常提示存在格雷夫斯病等自身免疫性甲状腺疾病,但单次阳性需结合临床表现及其他检查综合判断

一次性甲亢TRAB会阳性吗(甲亢一次性治疗对身体有什么副作用)

红领巾召唤!这场爱国光影之旅邀你打卡~(红领巾召唤我主题班会)

“红领巾的光影记忆”主题观影活动来咯,一起重温经典电影《国歌》,在光影里感受爱国力量,开启超有意义的周末时光! 1.红领巾是我们的光荣标志,请确保红领巾干净整洁、规范佩戴哦! 2. 穿上整齐的校服,展现少先…

红领巾召唤!这场爱国光影之旅邀你打卡~(红领巾召唤我主题班会)