蚂蚁集团,AI重大突破!推出新款MoE『大语言模型』 可在使用国产GPU的低性能设备上完成高效训练

蚂蚁集团,AI重大突破!推出新款MoE『大语言模型』 可在使用国产GPU的低性能设备上完成高效训练

国产AI模型,再次迎来突破。

近日,蚂蚁集团Ling团队发表了一篇技术成果论文。论文显示,蚂蚁集团推出了两款不同规模的MoE『大语言模型』——百灵轻量版(Ling-Lite)与百灵增强版(Ling-Plus),前者参数规模为168亿(激活参数27.5亿),Plus基座模型参数规模高达2900亿(激活参数288亿),两者性能均达到行业领先水平。

除了自研性能领先的大模型以外,该技术论文最大的突破在于提出了一系列创新方法,以提升资源受限环境下AI开发的效率与可及性。实验表明,其3000亿参数的MoE(混合专家)大模型可在使用国产GPU的低性能设备上完成高效训练,性能与完全使用『英伟达』『芯片』、同规模的稠密模型及MoE模型相当。

(来源:今日霍州)

特别声明:[蚂蚁集团,AI重大突破!推出新款MoE『大语言模型』 可在使用国产GPU的低性能设备上完成高效训练] 该文观点仅代表作者本人,今日霍州系信息发布平台,霍州网仅提供信息存储空间服务。

猜你喜欢

触控一体机使用方法全解析(触控一体机的使用)

软件使用应用程序下载与安装触控一体机通常预装了一些常用的应用程序,如浏览器、办公软件等。在应用商店中搜索需要的应用程序,然后点击下载和安装按钮,等待安装完成即可。定期清洁屏幕,避免灰尘和污渍影响触控效果;避…

触控一体机使用方法全解析(触控一体机的使用)

从田间到云端,“算力土豆”奇在哪儿(从田间到心间)

创新中心研发团队成员马丛飞向记者演示了AI模拟仿真的过程:技术人员先给土豆淀粉做“全身体检”,测量分子链长度、分支程度、直链与支链比例等关键参数,再通过标准化数据接口,将这些信息转化为三维数字模型——相当于…

从田间到云端,“算力土豆”奇在哪儿(从田间到心间)

『张天爱』|这腿简直勾人魂!(『张天爱』踢腿)

初演张芃芃时,她穿着红衣舞剑,眼神又媚又飒,把“男穿女”的喜剧感演得自然又动人,观众说:“看她甩袖子,我手机屏都要被笑裂了!”后来演《中国机长》里的黄佳,她又扎起马尾穿制服,眼神坚定地说“请相信我们的专业”,…

『张天爱』|这腿简直勾人魂!(『张天爱』踢腿)

“如何实现微信群发和朋友圈定时任务?牛丫科技提供一键托管定时执行功能。

牛丫科技凭借其先进的技术,提供了一键托管定时执行功能,极大地简化了微信群发和朋友圈的操作流程。牛丫科技的定时任务功能,允许用户提前编辑好群发消息和朋友圈内容,并设定具体的发送时间。 某电商企业在使用牛丫科技…

“如何实现微信群发和朋友圈定时任务?牛丫科技提供一键托管定时执行功能。

晨光聪明学小转盘计时器真的能帮孩子专注学习吗?959BU实测揭秘

孩子写作业拖拉、注意力不集中?这款晨光959BU小转盘学习计时器凭借静音蜂鸣双模式、滑轮转盘设计和便携小巧结构,成为小学生家庭学习“自律神器”。它通过番茄工作法原理+可视化时间提醒,帮助孩子分段专注、主动规划。本文深度解析其工作原理、真实使

晨光聪明学小转盘计时器真的能帮孩子专注学习吗?959BU实测揭秘