标签:"vLLM"相关文章

摩尔线程开源 vLLM-MUSA，通过 MUSA 软件栈对 CUDA 接口兼容

vLLM 是一个高效且易用的大模型推理和服务框架，已在各种『大语言模型』中得到广泛应用，并成为业界常用的开源大模型推理框架。