红帽5月19日宣布推出红帽 AI 推理服务器，该服务器使企业能够更快、更高效地运行生成式 AI 应用。
本周在波士顿举行的红帽峰会上发布的这款全新 AI 推理服务器软件，基于开源 vLLM project 开发，并融合了红帽近期收购初创公司 Neural Magic 的技术成果。
该服务器具备对训练好的 AI 模型进行压缩的工具，从而使模型运行更加高效。公司表示，它还更高效地利用处理器内存，能够在混合云环境中实现更快的推理速度。
业内分析师认为，红帽的这一举措表明，AI 加速不仅依靠高速处理器，还需要经过优化的软件支持。
IDC 全球研究集团副总裁 Rick Villars 对 Data Center Knowledge 表示：“AI 对计算系统的压力很大，随着 AI 代理的出现，未来这种压力会更大。红帽的意思是，他们希望帮助你优化投资。
“从模型构建到将其嵌入到业务流程或客户体验中，他们将在软件层面竭尽全力确保你能获得最佳性能。”
优化后的 AI 模型
红帽 AI 推理服务器能够加速推理过程，这意味着它不仅能更快速地响应生成式 AI 模型，还能同时处理更多用户请求而无需额外硬件，红帽表示。
该软件通过像更好的内存管理和持续批量处理等技术，优化了 GPU 的使用。红帽一位发言人称，这项技术可以优化 AMD 和 Nvidia GPU、Intel 的 Gaudi AI 加速器以及 Google TPU。
此外，AI 推理服务器还可用于优化 AI 模型，例如 DeepSeek、Google 的 Gemma、Meta 的开源 Llama、Mistral、Microsoft 的 Phi 及其他大语言模型。
红帽表示，会在 Hugging Face 平台上提供经过验证和优化的 AI 模型。
红帽高级副总裁兼 AI 首席技术官 Brian Stevens 在媒体简报会上表示：“基于 vLLM 运行的预优化模型通常能实现两到四倍的 Token 产出 —— 即拥有更高的效率。”
Stevens 补充道，在 vLLM 两年前推出之前，推理服务器选项十分有限，唯有 Nvidia 在其软件堆栈中提供了一个解决方案。而如今，由于其易用性、能够运行 Hugging Face 上的模型、兼容 OpenAI 接口以及支持多种 AI 加速器，vLLM 已获得广泛认可。
红帽此次推出的 AI 推理服务器即是 vLLM 的实现，可作为独立的容器化产品部署，同时也能整合至红帽的 AI 软件产品组合中。其中包括为 AI 定制的开源操作系统版本 Red Hat Enterprise Linux AI 以及基于 Kubernetes 的容器化环境中构建和部署 AI 应用的平台 Red Hat OpenShift AI，无论是在本地还是云端均可使用。
虚拟化市场增长
在本周的红帽峰会上，红帽高管透露，自 2024 年以来，Red Hat OpenShift Virtualization 部署数量已增长超过 150%。
为吸引更多虚拟化客户，红帽表示，Google Cloud、Microsoft Azure 以及 Oracle Cloud Infrastructure 正在以技术预览或公开预览的形式推出 Red Hat OpenShift Virtualization。
此外，红帽还宣布，其虚拟化软件现已在 Amazon Web Services ( AWS ) 和 IBM Cloud 上全面推出。
红帽混合云平台副总裁兼总经理 Mike Barrett 在媒体简报会上表示：“客户在选择下一代虚拟化平台时，往往会根据他们的基础设施选择而定，因此我们必须真正精炼和构建与各大云提供商之间的合作关系。”
IDC 软件开发、 DevOps 和 DevSecOps 项目副总裁 Jim Mercer 指出，红帽在改善其虚拟化软件方面投入了大量精力。虽然该公司并未明确表示其产品在所有功能上与竞争对手 Broadcom 完全匹配，但红帽暗示，其产品已具备客户所需求的大部分主流虚拟化功能。
Mercer 表示：“很多使用 Red Hat OpenShift 的客户同时也在使用 VMware vSphere，因此红帽已经占据了一定的市场份额。红帽正试图利用大家对其作为一个优秀合作伙伴的认可，来协助客户实现迁移，并尽可能让迁移过程变得轻松。”
在红帽峰会上，公司还宣布了以下内容：
Red Hat Enterprise Linux 10。该新操作系统现已上市，新增的安全功能可防范未来量子计算机可能发起的攻击。其“镜像模式”功能允许操作系统作为可启动的容器镜像进行部署。通过对操作系统和应用程序进行容器化，企业可以利用统一、标准化的工具和工作流程来简化管理。
全新的 llm-d 开源社区以扩展推理能力。红帽宣布成立 llm-d 社区，其目标是利用 vLLM 并通过分布式方法扩展推理能力。创始贡献者包括 CoreWeave、Google、IBM Research 以及 Nvidia。其他成员还包括 AMD、Cisco、Intel、Lambda 和 Mistral AI。
Lightspeed 生成式 AI 助手。为应对技能差距问题，红帽在 Enterprise Linux 10 中推出 Lightspeed，使 IT 管理员可以借助自然语言来获得从故障排除常见问题到管理复杂环境等方面的帮助。红帽计划于六月发布 OpenShift Lightspeed —— 一款用于管理和故障排除 OpenShift 环境的生成式 AI 助手。
红帽高级开发者套件。红帽宣布推出高级开发者套件，该套件结合了平台工程工具和安全能力。
