微软宣布优化DeepSeek-R1 模型,Copilot+ PC 实现本地化 AI 推理

微软宣布优化DeepSeek-R1 模型,Copilot+ PC 实现本地化 AI 推理

1 月 30 日消息,人工智能正加速向着边缘计算领域发展,Copilot+ PC 在其中扮演着重要角色。随着 DeepSeek R1 出现,微软也意识到了这一模型可能会带来了一系列变革。

微软今日发文,宣布推出针对 NPU 优化的 DeepSeek-R1( 注:已在 Azure AI Foundry 和 GitHub 上提供),首批将面向搭载高通骁龙 X 芯片的 Copilot+ PC 推出,随后是英特尔酷睿 Ultra 200V 等平台。

微软表示,首个版本 DeepSeek-R1-Distill-Qwen-1.5B将在 AI Toolkit 中提供,7B 和 14B 版本也将很快推出,从而帮助开发者充分利用 Copilot+ PC 中强大的 NPU 配置。

微软表示,Copilot+ PC 上的 NPU 开启了一种新的范式。在这种范式下,生成式 AI 不仅可以在被调用时执行,还可以支持半连续运行的服务。这使开发者能够利用 AI 推理引擎来构建主动和持续的体验。微软表示:

通过我们在 Phi Silica 上的工作,我们实现了高效的推理 —— 在首次生成 token 的时间和吞吐率方面表现出色,同时对电池续航和 PC 资源消耗的影响降至最低。针对 NPU 优化的 DeepSeek 模型借鉴了该项目的多项关键经验和技术,包括如何分离模型的各个部分以实现性能与效率的最佳平衡、低比特率量化以及将 Transformer 映射到 NPU。此外,我们还利用 Windows Copilot Runtime(WCR)通过 ONNX QDQ 格式在多样化的 Windows 生态系统中实现扩展。

微软表示,要想在 Copilot+ PC 上体验 DeepSeek 只需下载 AI Toolkit VS Code 扩展即可;以 ONNX QDQ 格式优化的 DeepSeek 模型将很快出现在 AI Toolkit 的模型目录中(直接从 Azure AI Foundry 中拉取)。

用户可以通过点击“下载”按钮将其下载到本地。下载完成后,只需打开 Playground 加载“deepseek_r1_1_5”模型,并给出提示词即可开始实验。

除了为 Copilot+ PC 优化的 ONNX 模型外,您还可以通过点击“DeepSeek R1”下的“Try in Playground”按钮,在 Azure Foundry 中尝试云托管的源模型。

如下图所示,微软还展示了原始模型和量化模型的示例,以展现两者之间微小但确实存在的差异:

▲ 相同提示下原始模型(左)与 NPU 优化模型(右)的响应示例,包括模型的推理能力

特别声明:[微软宣布优化DeepSeek-R1 模型,Copilot+ PC 实现本地化 AI 推理] 该文观点仅代表作者本人,今日霍州系信息发布平台,霍州网仅提供信息存储空间服务。

猜你喜欢

广告耗材定制服务权威排名:上海小荷展示口碑可靠!(广告制作耗材有哪些)

上海小荷展示、快幕秀以及上海廷翃广告物料制作作为行业内的佼佼者,各自以独特的优势和服务赢得了市场的认可。无论是高端广告耗材的定制还是复杂的展示方案设计,该公司都能提供高质量的产品和服务。无论是在创意设计、技术…

广告耗材定制服务权威排名:上海小荷展示口碑可靠!(广告制作耗材有哪些)

喜报!我院顺利通过智慧服务3级!(喜报!我院顺利成立)

为了顺利完成高标准建设及迎评这一艰巨任务,网络安全与信息化领导小组组建专项工作团队,乔治斌院长主抓,院长助理、首席信息官刘新平全程指导,患者服务处主任韩彩莉、智慧医院建设部主任赵鹏分别负责业务和技术总协调,…

喜报!我院顺利通过智慧服务3级!(喜报!我院顺利成立)

从“电子咸鱼”到埃及艳后:这个暑假华为阅读带我开挂看展

看小说时偶然看到华为阅读推送的“邂逅千年埃及”专题,被《古埃及》里法老与金字塔的故事勾得心痒痒想去看上博埃及展。自从升级了HarmonyOS 5.1,负一屏的“鸿蒙有礼”简直是我的宝藏库:签到三天不仅有现金红…

从“电子咸鱼”到埃及艳后:这个暑假华为阅读带我开挂看展

重庆惊现“水晶盒子”!硬核科技风!阿维塔总部大楼

在重庆两江新区数字经济的热土上,阿维塔科技总部以其极具未来感的身姿跃入眼帘。这座约21万平方米的综合性园区,是阿维塔融合研发、办公与商业配套的智慧中枢。八千余平方米的五层空间内,首层是品牌展厅,展示着阿维塔…

重庆惊现“水晶盒子”!硬核科技风!阿维塔总部大楼

50岁以后,我也要学她这样穿:“裙长,裤松、色要简”,美得舒适又体面(50岁的我)

我们都知道,发型是女人的第二张脸,一个适合的发型,不光能巧妙修饰脸型、提升气质,还能与整体的穿搭风格相互呼应,更显优雅高级。 对于年过五十岁的女人来说,一双带2到3厘米小跟的质感鞋子,既能让体态更挺拔舒展,…

50岁以后,我也要学她这样穿:“裙长,裤松、色要简”,美得舒适又体面(50岁的我)