微软DeepSeek-R1模型优化,Copilot+ PC本地化AI推理能力大提升

微软DeepSeek-R1模型优化,Copilot+ PC本地化AI推理能力大提升

在科技日新月异的今天,人工智能正以前所未有的速度向边缘计算领域迈进,而Copilot+ PC在这一进程中占据了举足轻重的地位。近日,随着DeepSeek R1模型的横空出世,微软也敏锐地捕捉到了这一变革的先机。

微软官方近日宣布,已正式推出针对NPU(神经网络处理器)深度优化的DeepSeek-R1模型。该模型现已在Azure AI Foundry和GitHub平台上架,首批将针对搭载高通骁龙X系列芯片的Copilot+ PC进行适配,随后将逐步扩展到英特尔酷睿Ultra 200V等其他平台。

据悉,DeepSeek-R1的首个版本——DeepSeek-R1-Distill-Qwen-1.5B,将率先在AI Toolkit中亮相。而7B和14B两个更大规模的版本也将紧随其后,助力开发者充分利用Copilot+ PC中强大的NPU性能。

微软方面表示,Copilot+ PC上的NPU开启了一种全新的工作模式。在这种模式下,生成式AI不仅能够按需执行,还能够支持半连续运行的服务。这一特性使得开发者能够利用AI推理引擎,打造出更加主动、持续的用户体验。

微软在Phi Silica项目上的研究成果,为DeepSeek模型的NPU优化提供了宝贵经验。通过高效的推理技术,DeepSeek在首次生成token的时间和吞吐率方面均表现出色,同时对电池续航和PC资源消耗的影响降到了最低。DeepSeek还借鉴了多项关键技术,包括模型分离以实现性能与效率的最佳平衡、低比特率量化以及Transformer到NPU的映射等。同时,微软还利用Windows Copilot Runtime(WCR)通过ONNX QDQ格式在Windows生态系统中实现了广泛扩展。

对于想要体验DeepSeek的用户来说,只需下载AI Toolkit VS Code扩展即可。而经过ONNX QDQ格式优化的DeepSeek模型也将很快出现在AI Toolkit的模型目录中,用户可以直接从Azure AI Foundry中拉取。下载完成后,用户只需打开Playground加载“deepseek_r1_1_5”模型,并给出提示词,即可开始体验DeepSeek的强大功能。

除了为Copilot+ PC优化的ONNX模型外,用户还可以在Azure Foundry中尝试云托管的源模型。只需点击“DeepSeek R1”下的“Try in Playground”按钮,即可轻松上手。

为了直观展示原始模型与NPU优化模型之间的差异,微软还提供了以下示例图。从图中可以看出,在相同提示下,原始模型与NPU优化模型的响应虽然大致相同,但在推理能力等方面仍存在微小但确实存在的差异。

特别声明:[微软DeepSeek-R1模型优化,Copilot+ PC本地化AI推理能力大提升] 该文观点仅代表作者本人,今日霍州系信息发布平台,霍州网仅提供信息存储空间服务。

猜你喜欢

广东湛江海警4天连查6起海上违法案件 严打海上违法行为(广东湛江海警部队梁志斌)

近日,湛江海警局加强了海上执法巡逻监管,在四天内连续查处六起海上违法案件,共抓获涉案人员13名,查扣涉案船舶6艘、违规作业渔具一批以及230余斤渔获物

广东湛江海警4天连查6起海上违法案件 严打海上违法行为(广东湛江海警部队梁志斌)

笑着笑着就哭了!《戏台》:喜剧外壳下时代寓言,群像看见你我(笑着笑着就哭了)

导语:《戏台》绝非一部普通的搞笑电影,它的开篇是一场意外的成名故事,虽以荒诞的方式逗弄观众,实则深刻描绘出在时代巨浪中,小人物的挣扎与生命百态。角色们的情感变化、求生劣迹及抗争与妥协,共同编织了一幅时代的画卷…

笑着笑着就哭了!《戏台》:喜剧外壳下时代寓言,群像看见你我(笑着笑着就哭了)

戚薇大波浪卷休闲装现身扬州路边摊,与郑业成一起吃宵夜(戚薇波波头短发发型图片)

深夜的扬州路边摊,突然被围得水泄不通——戚薇和郑业成在拍戏间隙吃宵夜的画面被路人偶遇。最绝的是两人坐在塑料凳上的画面——时尚画报般的明星和烟火气路边摊同框,网友疯狂玩梗:“建议夜市老板立刻涨价,这波免费代言血…

戚薇大波浪卷休闲装现身扬州路边摊,与郑业成一起吃宵夜(戚薇波波头短发发型图片)

工学云智能助手:异地打卡+自动报表生成,职场效率提升神器(工学云管理平台)

这款融合AI技术与移动考勤的创新工具,正以“异地打卡+自动报表”的双重功能,重新定义职场效率边界。 异地考勤难题:外勤人员需手动定位拍照,跨区域团队考勤数据同步延迟;报表撰写耗时:周报月报需重复整理数据,格…

工学云智能助手:异地打卡+自动报表生成,职场效率提升神器(工学云管理平台)

RFA要过时了?PFA手术增长超30%?提前掌握的医生为何收入更高?数据会给你答案(rfsapu)

可以预见,随着更多PFA设备获批和培训推广,在全球主要市场中PFA手术占比将持续上升,未来几年内渗透率有望达到消融手术的三成以至过半。在中国市场,虽然目前采用PFA的医生比例仍然很低,但考虑到国内每年房颤消…

RFA要过时了?PFA手术增长超30%?提前掌握的医生为何收入更高?数据会给你答案(rfsapu)