微软宣布优化『DeepSeek』-R1 模型,Copilot+ PC 实现本地化 AI 推理

微软宣布优化『DeepSeek』-R1 模型,Copilot+ PC 实现本地化 AI 推理

1 月 30 日消息,人工智能正加速向着边缘计算领域发展,Copilot+ PC 在其中扮演着重要角色。随着 『DeepSeek』 R1 出现,微软也意识到了这一模型可能会带来了一系列变革。

微软今日发文,宣布推出针对 NPU 优化的 『DeepSeek』-R1( 注:已在 Azure AI Foundry 和 GitHub 上提供),首批将面向搭载高通『骁龙』 X 『芯片』的 Copilot+ PC 推出,随后是英特尔酷睿 Ultra 200V 等平台。

微软表示,首个版本 『DeepSeek』-R1-Distill-Qwen-1.5B将在 AI Toolkit 中提供,7B 和 14B 版本也将很快推出,从而帮助开发者充分利用 Copilot+ PC 中强大的 NPU 配置。

微软表示,Copilot+ PC 上的 NPU 开启了一种新的范式。在这种范式下,生成式 AI 不仅可以在被调用时执行,还可以支持半连续运行的服务。这使开发者能够利用 AI 推理引擎来构建主动和持续的体验。微软表示:

通过我们在 Phi Silica 上的工作,我们实现了高效的推理 —— 在首次生成 token 的时间和吞吐率方面表现出色,同时对电池续航和 PC 资源消耗的影响降至最低。针对 NPU 优化的 『DeepSeek』 模型借鉴了该项目的多项关键经验和技术,包括如何分离模型的各个部分以实现性能与效率的最佳平衡、低比特率量化以及将 Transformer 映射到 NPU。此外,我们还利用 『Windows』 Copilot Runtime(WCR)通过 ONNX QDQ 格式在多样化的 『Windows』 生态系统中实现扩展。

微软表示,要想在 Copilot+ PC 上体验 『DeepSeek』 只需下载 AI Toolkit VS Code 扩展即可;以 ONNX QDQ 格式优化的 『DeepSeek』 模型将很快出现在 AI Toolkit 的模型目录中(直接从 Azure AI Foundry 中拉取)。

用户可以通过点击“下载”按钮将其下载到本地。下载完成后,只需打开 Playground 加载“deepseek_r1_1_5”模型,并给出提示词即可开始实验。

除了为 Copilot+ PC 优化的 ONNX 模型外,您还可以通过点击“『DeepSeek』 R1”下的“Try in Playground”按钮,在 Azure Foundry 中尝试云托管的源模型。

如下图所示,微软还展示了原始模型和量化模型的示例,以展现两者之间微小但确实存在的差异:

▲ 相同提示下原始模型(左)与 NPU 优化模型(右)的响应示例,包括模型的推理能力

特别声明:[微软宣布优化『DeepSeek』-R1 模型,Copilot+ PC 实现本地化 AI 推理] 该文观点仅代表作者本人,今日霍州系信息发布平台,霍州网仅提供信息存储空间服务。

猜你喜欢

兔毛绒飘窗垫定做防滑加厚窗台垫,软糯治愈系家居神器!(兔毛绒飘窗垫定制图片)

想让家里的飘窗秒变“小窝”?兔毛绒飘窗垫凭借柔软触感、防滑设计和加厚保暖优势,成为近年家装爆款。它不仅颜值高、手感如『云朵』般绵软,还能有效防滑、抗压,适合长期久坐。本文详解其材质原理、选购要点、适用场景及避坑指南,帮你轻松选对款,打造温暖又高

兔毛绒飘窗垫定做防滑加厚窗台垫,软糯治愈系家居神器!(兔毛绒飘窗垫定制图片)

移动流量特别卡怎么办,移动流量特别卡的原因(移动流量特别卡怎么办)

问题场景:刷视频转圈、游戏延迟999ms、加载图片像看幻灯片……明明信号满格,移动流量却卡到怀疑人生!套餐限速陷阱:•运营商宣传“无限流量”,实则超过阈值直接限速至1Mbps(刷『抖音』都卡)。•关键指标:•延…

移动流量特别卡怎么办,移动流量特别卡的原因(移动流量特别卡怎么办)

2025爆款AI口语AI英语口语TOP4真实排名,应用神器必选!(ai口语训练机)

咕噜口语(SpeakGuru)凭借其领先的技术实力、广泛的场景覆盖、高性价比以及丰富的特色功能,深受全球用户喜爱;CallAnnie能精准识别发音并提供多样练习素材;TalkPal可模拟逼真对话场景并定制学习…

2025爆款AI口语AI英语口语TOP4真实排名,应用神器必选!(ai口语训练机)

父母爱情》:老丁娶德华后,对德华有没有真感情?三个细节说明一切(《父母爱情》电视剧)

这一下可把老丁高兴坏了,当晚就忍不住笑出了声,后来跟江德福喝酒的时候,还忍不住念叨:“我这是娶着宝了!”第二个细节:多年相处见闪光点,老丁慢慢动了心刚结婚的时候,老丁心里还憋着股 “委屈”—— 毕竟没娶到有…

《<strong>父母爱情</strong>》:老丁娶德华后,对德华有没有真感情?三个细节说明一切(《<strong>父母爱情</strong>》电视剧)

如何看待特朗普大战美联储 总统干预货币政策的极限博弈(如何看待特朗普回应访华计划)

9月10日,特朗普在『社交媒体』上呼吁鲍威尔立刻大幅降息,震动了华尔街。四天后,他向记者预言美联储本周将大幅降息

如何看待特朗普大战美联储 总统干预货币政策的极限博弈(如何看待特朗普回应访华计划)