高通:OpenAI 最小开源模型 gpt-oss-20b 可在『骁龙』终端运行(高通 npu)

8 月 11 日消息,OpenAI 于 8 月 6 日推出了其最小开源模型 gpt-oss-20b,在常见基准测试中与 OpenAI o3‑mini 模型取得类似结果。高通今日宣布,这是其首个可在搭载『骁龙』平台的终端侧运行的开源推理模型。

从官方新闻稿获悉,高通称 gpt-oss-20b 思维链推理模型可直接在搭载『骁龙』旗舰处理器的终端上运行。此前 OpenAI 的复杂模型仅限云端部署,这是 OpenAI 首次实现模型支持终端侧推理。通过提前获取模型,并结合高通 ® AI 引擎和 Qualcomm® AI Stack 进行集成测试,我们发现这款 200 亿参数的模型表现极为出色,能够完全在终端侧进行思维链推理。

高通认为这是一个关键转折点:预示着 AI 的未来方向,即丰富复杂的助手式推理也将在本地实现。这也展现了 AI 生态系统的成熟性,合作伙伴和开发者可以利用『骁龙』处理器,实时采用 OpenAI 等领军企业的开源创新成果。OpenAI 的 gpt-oss-20b 将助力终端设备利用终端侧推理,带来隐私保护和时延方面的优势,同时通过 AI 智能体为云端解决方案提供支持。

高通称,通过提前获取 gpt-oss-20b 模型,并结合 Qualcomm AI Stack 进行集成测试,见证了该模型的卓越能力,它能完全在终端侧进行复杂推理。开发者将可通过 Hugging Face 和 Ollama 等主流平台获取该模型,并在搭载『骁龙』平台的终端上发挥其性能。更多部署详情即将在 Qualcomm AI Hub 上公布。

将 Ollama 的轻量级的开源 LLM 服务框架和强大的『骁龙』平台集成,开发者和企业不仅可以直接在搭载『骁龙』计算平台的终端上运行 gpt-oss-20b 模型,还能够进行网页搜索等多个默认特性,无需额外配置。用户也可以在 Ollama 上尝试 Turbo 模式,以探索该模型的更多功能。

特别声明:[高通:OpenAI 最小开源模型 gpt-oss-20b 可在『骁龙』终端运行(高通 npu)] 该文观点仅代表作者本人,今日霍州系信息发布平台,霍州网仅提供信息存储空间服务。

猜你喜欢

邓莎好像宣布离婚了,《再见爱人》收官邓莎发长文说大麟子要出国(邓莎是谁)

邓莎买一包奶粉都得先看看自己卡上的余额,而路行,作为上市公司主席,却连她怀孕时去一次付费停车场都让她自己掏钱扫码。最狠的是,她在半年之前就已经把复出的剧本谈妥了——三部女二角色,一档综艺导师,报价单直接甩给前…

邓莎好像宣布离婚了,《<strong>再见爱人</strong>》收官邓莎发长文说大麟子要出国(邓莎是谁)

灵韵循迹--2728秋冬瑜伽主题色彩(灵韵是什么意思?)

我们将经历三个维度的感官旅程:从“疗愈庇护所”的数字柔光中寻找内在宁静,在“顶流甜心”的暖调粉彩中拥抱生活社交的热度,最终回归“质朴禅意”的深沉大地色系以链接自然。这不仅是一组色盘,更是为瑜伽习练者构建的从冥…

灵韵循迹--2728秋冬瑜伽主题色彩(灵韵是什么意思?)

『童瑶』与大17岁富豪老公度假,穿藏服吃浪漫晚餐,结婚6年很恩爱(『童瑶』现状)

那天,当全网把『童瑶』骂得一无是处,说她靠老公上位时,她正蹲在云南雨崩的泥地里,自己默默地扣上藏袍的腰带,王冉拿着手机给她拍视频,笑得比她还要傻。那一幕被曝光后,评论区瞬间炸开:一半人在酸她资本太太下凡,另一半则…

『童瑶』与大17岁富豪老公度假,穿藏服吃浪漫晚餐,结婚6年很恩爱(『童瑶』现状)

爱泼斯坦最后一任女友曝光!梅特王储妃和莎拉都不是他偏爱的类型(爱泼斯坦谋杀)

最新发布的300万页文件、2000段视频和18万张图片,无疑为案件增添了更多的细节,也将隐藏在背后的真相逐步揭开。梅特·玛丽特则在邮件中称爱泼斯坦是总是让我微笑的人,甚至调侃道,巴黎很适合婚外情,这些话语背后…

爱泼斯坦最后一任女友曝光!梅特王储妃和莎拉都不是他偏爱的类型(爱泼斯坦谋杀)

马斯克身家或超8000亿美元💵 收购xAI后财富新高(马斯克身家超一国GDP,地球装不下?)

SpaceX完成对xAI的收购后,埃隆·马斯克的身家将突破8000亿美元💵,成为全球首位达到这一财富高度的人。《福布斯》估算,这笔交易对合并后公司的估值达1.25万亿美元💵,使马斯克的财富增长了840亿美元💵,创下8520亿美元💵的历史新高

马斯克身家或超8000亿美元💵 收购xAI后财富新高(马斯克身家超一国GDP,地球装不下?)