科技

行业新质力【新质是行业吗】

3浏览次数

所以这次点亮的真正意义,是把国产芯片从能跑模型推进到能接业务,前者是实验室指标,后者才产生现金流。这种弹性让算力采购更接近按需,但也带来一个新问题:两类节点之间的流量会在业务波动时突然放大,网络设计必须留足余…

华为昇腾 950DT 在汕头华侨试验区完成点亮,首批 16 张卡上架运行。对外披露的参数里,最显眼的是 4TB/s 的内存带宽,以及用预填充与解码分离的方式跑词元工厂。更值得注意的是业务属性:这是国产最新一代训练芯片第一次承接真实的出海推理业务,而不是实验室里的跑分。从客户角度看,选择国产芯片的动力不只是价格,还包括供货确定性与本地技术支持,这三点在供给紧张时比峰值算力更有说服力。

预填充与解码分离,是这轮推理架构调整的核心。预填充阶段要一次性处理整段输入,计算密集、并行度高;解码阶段逐 token 生成,访存密集、对延迟敏感。把两个阶段放在同一批卡上跑,会互相抢资源,长输入时尤其明显。拆成两个集群各司其职,再通过高速网络传递 KV Cache,整体吞吐能明显提升,代价是网络带宽与调度复杂度上升。

4TB/s 的带宽对应的是长上下文。上下文越长,KV Cache 占用的显存越多,每次生成都要把这些数据搬一遍,带宽不够就会卡在等数据上。这也是近两年国产芯片竞争的焦点从峰值算力转向内存带宽与互联的原因:算力可以堆核心,带宽要靠 HBM 与先进封装,后者更难。软件栈的成熟度决定实际可用算力,同样的硬件,算子优化做得好与不好,端到端吞吐可能差出一倍,这部分工作往往比流片更耗时。

出海业务带来的约束与国内不同。数据要落在当地,延迟要满足当地用户,网络要绕开不稳定的链路,合规要求也各不一样。用国产芯片承接这类业务,等于把整条软件栈放到真实流量下检验:算子库是否齐全、框架适配是否到位、故障能否快速定位。这些问题在内部测试里往往被跳过,在客户现场一个都躲不掉。所以这次点亮的真正意义,是把国产芯片从能跑模型推进到能接业务,前者是实验室指标,后者才产生现金流。

从竞争角度看,国产芯片的短板正在从硬件转向软件。硬件参数可以靠一代代迭代追平,生态要靠开发者一点点积累。昇腾这几年在推自己的算子库与迁移工具,目的就是让模型厂商少改代码。真正的考验不是能不能跑通一个模型,而是能不能让一百个模型在不改代码的前提下跑得一样好。这种弹性让算力采购更接近按需,但也带来一个新问题:两类节点之间的流量会在业务波动时突然放大,网络设计必须留足余量。

汕头这个节点还有一层产业意义。把算力放在国际通信出入口附近,可以降低跨境链路的时延,也便于对接海外客户。这种"算力跟着网络走"的布局,与过去把机房建在电力便宜的地方是两种思路。当推理成为主要负载,网络位置的重要性会越来越接近电价。从集群设计看,预填充与解码分离之后,两类节点可以按不同比例配置,输入长的业务多配预填充节点,输出长的业务多配解码节点。

登录后可点赞、收藏或参与评论,登录成功后返回本文。

评论

暂无评论。

评论

登录后参与评论与互动