『英伟达』刚刚从 『DeepSeek』-R1引发的 4 万亿元暴跌中缓过劲来，又面临新的压力？
硬件媒体 Tom's Hardware 带来开年最新热议：『DeepSeek』 甚至绕过了 CUDA，使用更底层的编程语言做优化。
这一次是 『DeepSeek』-V3论文中的更多细节，被人挖掘出来。
来自 Mirae Asset Securities Research（韩国未来资产证券）的分析称，V3 的硬件效率之所以能比 Meta 等高出 10 倍，可以总结为“他们从头开始重建了一切”。
在使用『英伟达』的 H800 GPU 训练 『DeepSeek』-V3 时，他们针对自己的需求把 132 个流式多处理器（SMs）中的 20 个修改成负责『服务器』间的通信，而不是计算任务。
变相绕过了硬件对通信速度的限制。
△『DeepSeek』-V3 Technical Report
这种操作是用『英伟达』的 PTX（Parallel Thread Execution）语言实现的，而不是 CUDA。
PTX 在接近汇编语言的层级运行，允许进行细粒度的优化，如寄存器分配和 Thread / Warp 级别的调整。
这种编程非常复杂且难以维护，所以行业通用的做法是使用 CUDA 这样的高级编程语言。
换句话说，他们把优化做到了极致。
有网友表示，如果有一群人嫌 CUDA 太慢而使用 PTX，那一定是前量化交易员。
一位亚马逊『工程师』提出灵魂质问：CUDA 是否还是护城河？这种顶尖实验室可以有效利用任何 GPU。
甚至有网友开始畅想，如果“新源神”『DeepSeek』 开源了一个 CUDA 替代方案……
那么事情是否真会如此？
『DeepSeek』 真的绕过了 CUDA？
首先要明确的是，PTX 仍然是『英伟达』 GPU 架构中的技术，它是 CUDA 编程模型中的中间表示，用于连接 CUDA 高级语言代码和 GPU 底层硬件指令。
PTX 类似汇编语言，代码大概长这样：
△来自 tinkerd.net
在实际编译流程中，CUDA 代码首先被编译为 PTX 代码，PTX 代码再被编译为目标 GPU 架构的机器码（SASS,Streaming ASSembler）。
CUDA 起到了提供高级编程接口和工具链的作用，可以简化开发者的工作。而 PTX 作为中间层，充当高级语言和底层硬件之间的桥梁。
另外，这种两步编译流程也使得 CUDA 程序具有跨架构的兼容性和可移植性。
反过来说，像 『DeepSeek』 这种直接编写 PTX 代码的做法，首先不仅非常复杂，也很难移植到不同型号的 GPU。
有从业者表示，针对 H100 优化的代码迁移到其他型号上可能效果打折扣，也可能根本不工作了。
所以说，『DeepSeek』 做了 PTX 级别的优化不意味着完全脱离了 CUDA 生态，但确实代表他们有优化其他 GPU 的能力。
事实上，我们也能看到 DeekSeek 已经与 AMD、华为等团队紧密合作，第一时间提供了对其他硬件生态的支持。
One More Thing
还有人提出，如此一来，让 AI 擅长编写汇编语言是 AI 自我改进的一个方向。
我们不知道 『DeepSeek』 内部是否使用 AI 辅助编写了 PTX 代码 —— 但是确实刚刚见证 『DeepSeek』-R1 编写的代码显著提升大模型推理框架的运行速度。
Llama.cpp项目中的一个新 PR 请求，使用 SIMD 指令（允许一条指令同时处理多个数据）显著提升 WebAssembly 在特定点积函数上的运行速度，提交者表示：
这个 PR 中的 99% 的代码都是由 DeekSeek-R1 编写的。我唯一做的就是开发测试和编写提示（经过一些尝试和错误）。
是的，这个 PR 旨在证明大模型现在能够编写良好的底层代码，甚至能够优化自己的代码。
llama.cpp项目的创始人检查了这段代码后表示“比预期的更爆炸”。
参考链接：
[1]https://www.tomshardware.com/tech-industry/artificial-intelligence/deepseeks-ai-breakthrough-bypasses-industry-standard-cuda-uses-assembly-like-ptx-programming-instead
[2]https://x.com/bookwormengr/status/1883355712191123666
[3]https://tinkerd.net/blog/machine-learning/cuda-basics/
[4]https://www.amd.com/en/developer/resources/technical-articles/amd-instinct-gpus-power-deepseek-v3-revolutionizing-ai-development-with-sglang.html
[5]https://x.com/ggerganov/status/1883888097185927311
