【环球网科技综合报道】8月12日消息,OpenAI近日推出其最小开源模型gpt-oss-20b,该模型在常见基准测试中表现与OpenAI o3mini模型相近。今日,高通公司宣布,这是OpenAI首个可在搭载骁龙平台的终端侧运行的开源推理模型。
据了解,高通表示gpt-oss-20b思维链推理模型能够直接在搭载骁龙旗舰处理器的终端上运行。此前,OpenAI的复杂模型仅能在云端部署,而此次是OpenAI首次实现模型对终端侧推理的支持。高通通过提前获取该模型,并结合高通®AI引擎和Qualcomm®AI Stack进行集成测试,发现这款拥有200亿参数的模型表现优异,可完全在终端侧完成思维链推理。
高通认为,这一突破是一个关键转折点,它预示着AI的未来发展方向——丰富复杂的助手式推理将在本地实现。这也体现了AI生态系统的成熟,合作伙伴和开发者可借助骁龙处理器,及时运用OpenAI等领军企业的开源创新成果。OpenAI的gpt-oss-20b模型将助力终端设备利用终端侧推理,在隐私保护和时延方面凸显优势,同时通过AI智能体为云端解决方案提供支持。
高通介绍,在提前获取gpt-oss-20b模型后,结合Qualcomm AI Stack开展集成测试,充分验证了该模型的卓越能力,其能够在终端侧完成复杂推理。开发者可通过Hugging Face和Ollama等主流平台获取该模型,并在搭载骁龙平台的终端上发挥其性能。有关该模型的更多部署详情,即将在Qualcomm AI Hub上公布。
值得一提的是,将Ollama的轻量级开源LLM服务框架与强大的骁龙平台相集成,开发者和企业不仅能直接在搭载骁龙计算平台的终端上运行gpt-oss-20b模型,还可实现网页搜索等多项默认功能,无需额外配置。用户也能在Ollama上尝试Turbo模式,进一步探索该模型的更多功能。(纯钧)