万亿参数Kimi K2开源 月之暗面研发『工程师』亲述幕后故事

7月14日消息,日前,国内大模型独角兽月之暗面正式发布并开源了其最新一代MoE架构基础模型Kimi K2,总参数量达到1万亿(1T) ,引发圈内热议。Kimi内部则将K2研发群戏称为“接生群”,多位参与“接生”的Kimi研发人员随后在知乎展开“亲自答”,从多个角度深入讲述了其背后研发历程。

作为月之暗面 Infra侧推理方面研发人员,知乎答主刘少伟谈及了K2模型结构的设计宗旨。他称K2模型是在『DeepSeek』 V3结构的框架之下,如何选择合适的参数,使得模型在训练、推理成本与v3相当的前提下,获得明显更低的loss。“综合以上四个相比v3的改动,我们能够得到一个在相同EP数量下,虽然总参数增大到1.5倍,但除去通信部分,理论的prefill和decode耗时都更小的推理方案”。

今日霍州(www.jrhz.info)©️

月之暗面研究员、知乎答主Flood Sung则表示,Kimi K2最值得关注的信息,除了MuonClip带来的漂亮得起飞的loss曲线,还有就是Agent能力。他透露,为了实现更好的通用Agent能力,构建了一个大规模的agent合成数据pipeline:简单的说是一个完全自动化的agent数据生产工厂,通过全流程的模拟来过滤出好的Agent轨迹数据。Flood Sung称,“这个生产线非常符合老子的思想:’一生二,二生三,三生万物’。”

另一位月之暗面研发人员、知乎答主Justin Wong谈到Kimi K2为何会选择开源时称,开源意味着能够借助社区力量完善技术生态,“在我们开源不到24小时就看到有社区做出K2的MLX实现、4bit量化等等,这些凭我们这点人力真的做不出来”。月之暗面研究员、知乎答主Dylan则表示,K2实际上就是一个刚出生的baby,虽然略显“灵性”,但和很多已久的frontier model(前沿模型)相比,还是有很多、很明显的缺点,“作为post-train(后训练)相关的同学,还是略感惭愧,希望后面的版本迭代里面能够持续释放K2 base model的潜力”。

今日霍州(www.jrhz.info)©️

据了解,开发者在AI成果发布的同时,越来越多选择来知乎发布背后的详尽思考。6月,月之暗面也曾发布一款Agent产品,Kimi-researcher两位主要研发人员也在知乎亲自答,解读产品背后的技术思考和亮点。更早之前,月之暗面开源MoBA框架研发人员鹿恩哲、苏剑林分别在知乎上讲述了研发思路,引发了业界对“稀疏注意力”框架的讨论。(周小白)

特别声明:[万亿参数Kimi K2开源 月之暗面研发『工程师』亲述幕后故事] 该文观点仅代表作者本人,今日霍州系信息发布平台,霍州网仅提供信息存储空间服务。

猜你喜欢

姜昆老师用不争论来处理网络恶俗炒作,代价似乎有点儿大(姜昆老师是)

几秒钟后,他调整了一下情绪,恢复了平静,接着解释道:这些事,完全是网络上的炒作,不应该在这儿讨论,为什么呢? 姜昆坚持说这件事与『郭德纲』无关,依旧强调是网络炒作,然而孙国庆显然不想放过这个话题,他用一种稍显尖锐…

姜昆老师用不争论来处理网络恶俗炒作,代价似乎有点儿大(姜昆老师是)

这一夜,全程笑脸、穿泡泡衫的『孙俪』,让所有人见识了她的江湖地位(这一夜我彻夜难眠是什么意思)

『杨紫』则彻底告别了过去小猴子般的形象,穿上了一袭拖地的红裙,优雅地衬托出了她修长的脖颈,银色的爱心耳环为她的整体造型点亮了温柔的光芒。有人张扬,有人内敛,但当『孙俪』笑着站定在中央时,那份从容和气场,却让人真正明白…

这一夜,全程笑脸、穿泡泡衫的『孙俪』,让所有人见识了她的江湖地位(这一夜我彻夜难眠是什么意思)

谢晖没想到,不愿为他生娃的佟晨洁,竟给魏巍当妈(谢晖身世)

有些人认为她在婚姻中过于迁就,甚至觉得她不值得,但从她的角度来看,或许她真的是享受着这样的生活方式。 和谢晖在一起时,她渴望的是安稳的家庭生活,但谢晖那种自由不羁的生活方式以及两人对生育的不同看法,…

谢晖没想到,不愿为他生娃的佟晨洁,竟给魏巍当妈(谢晖身世)

辽宁鹰格门窗有限公司:花园阳光房、智能阳光房、系统阳光房、铝合金阳光房专业制造商(鹰格断桥铝门窗怎么样)

在阳光房的细分市场中,花园阳光房以亲近自然的特性受到别墅业主青睐,其设计需兼顾景观融合与私密性;智能阳光房通过物联网技术实现环境自适应调节,能耗较传统产品降低20%-30%;系统阳光房采用模块化结构,安装效…

辽宁鹰格门窗有限公司:花园阳光房、智能阳光房、系统阳光房、铝合金阳光房专业制造商(鹰格断桥铝门窗怎么样)

三大航司:中日航线免费退改签延长 政策更新至十月(中日航空协定)

1月26日,国航、东航和南航发布通知,宣布对于1月26日前出票且航班起飞日期在2026年3月29日至2026年10月24日之间的日本进出港或经停航班,乘客可以享受免费退改签服务。此前,该政策仅执行到3月28日

三大航司:中日航线免费退改签延长 政策更新至十月(中日航空协定)