标签:"QCon"相关文章

大模型推理新突破:分布式推理技术探索与实践

我们还有个担心,在大规模使用 P-D 分离的情况下,传输流量是否会将整个网络环境打爆,流控机制是否足够好,能否使得 Prefill-Decode之间,距离尽可能的短,让 Prefill-Decode 更靠近…

大模型推理新突破:分布式推理技术探索与实践