腾讯发布混元Turbo S:业界首次无损应用Mamba架构

腾讯发布混元Turbo S:业界首次无损应用Mamba架构

21世纪经济报道记者白杨 北京报道

2月27日,腾讯正式发布新一代基座模型——混元Turbo S。

据腾讯混元团队介绍,混元Turbo S在架构方面创新性地采用了Hybrid-Mamba-Transformer 融合模式,有效降低了传统Transformer结构的计算复杂度,并减少了KV-Cache缓存占用,从而实现训练和推理成本的下降。

Mamba架构是一种基于状态空间模型(State Space Model, SSM)的深度学习架构,通过引入选择性机制(Selective Mechanism),Mamba架构能够高效处理长序列数据。

而Hybrid-Mamba-Transformer是一种结合了Mamba架构和Transformer架构的混合模型,通过这种融合,使得它突破了传统纯 Transformer 结构大模型面临的长文训练和推理成本高的难题。

一方面,Hybrid-Mamba-Transformer架构可以发挥Mamba高效处理长序列的能力,另一方面,它也保留了Transformer擅于捕捉复杂上下文的优势。

据悉,混元Turbo S是工业界首次成功将Mamba架构无损地应用在超大型MoE模型上。

在业界通用的多个公开基准测试上,腾讯混元 Turbo S在知识、数学、推理等多个领域展现出对标DeepSeek V3、GPT 4o、Claude3.5等业界领先模型的效果表现。

腾讯混元团队表示,Turbo S将作为旗舰模型,成为腾讯混元系列衍生模型的核心基座,为推理、长文、代码等衍生模型提供基础能力。

值得一提的是,此前已在腾讯元宝上线的深度思考模型混元T1,就是基于Turbo S,再引入长思维链、检索增强和强化学习等技术而来。

目前,开发者和企业用户已经可以在腾讯云上通过API直接调用腾讯混元Turbo S,并且即日起一周内免费试用。

定价方面,Turbo S输入价格为0.8元/百万tokens,输出价格为2元/百万tokens,相比前代混元Turbo模型价格大幅下降。

对于C端用户,腾讯元宝则将逐步灰度上线混元Turbo S。

特别声明:[腾讯发布混元Turbo S:业界首次无损应用Mamba架构] 该文观点仅代表作者本人,今日霍州系信息发布平台,霍州网仅提供信息存储空间服务。

猜你喜欢

北京地区高压电缆工厂综合实力排行榜(北京地区高压电工招聘)

在电力传输和工业应用中,高压电缆的质量和性能至关重要。创新技术应用:公司不断引进国际先进技术,结合自主研发,推出了一系列高性能、高可靠性的高压电缆产品,广泛应用于电力、交通、建筑等领域。 TOP3 河北神州…

北京地区高压电缆工厂综合实力排行榜(北京地区高压电工招聘)

白鹿一袭浅绿色吊带长裙,经典V领设计,轻松拿捏高级松弛感(一行白鹿)

白鹿用实践证明,这种自带艺术感的印花裙,只要选对剪裁,就能在 “明星穿搭” 和 “日常出片”间无缝切换,普通人照搬也能轻松拿捏松弛时尚感,主打一个 “好看但不费力”。这也太懂时尚镜头了吧,正面美、侧面绝,连…

白鹿一袭浅绿色吊带长裙,经典V领设计,轻松拿捏高级松弛感(一行白鹿)

十大公认最好的防晒衣:推荐十大防晒衣,和紫外线说再见!(十大公认最好的沐浴露)

抗水洗防晒:这款防晒衣采用原纱材质,融合87%锦纶与13%氨纶,这款防晒衣在面料的纺织环节就融入了防晒功能,比传统涂层防晒衣更抗水洗,多次清洗后防晒效果不易衰减。 十大公认好的防晒衣推荐结束了,如果你是长时…

十大公认最好的防晒衣:推荐十大防晒衣,和紫外线说再见!(十大公认最好的沐浴露)

从 0 到 2000VDC 随心调!这款可调直流电源,稳定可靠,实验工业全适配(从1-2000的整数中随机取一个数)

山东中邦电气有限公司作为国内电力测试设备领域的知名企业,凭借10余年的技术积淀与创新实践,在宽范围、大功率直流测试电源领域实现了重大突破。其自主研发的0-2000VDC可调直流电源系列产品,不仅填补了国内高端…

从 0 到 2000VDC 随心调!这款可调直流电源,稳定可靠,实验工业全适配(从1-2000的整数中随机取一个数)

蒋雯丽老了,江珊老了,陈红也老了,只有她还像18岁少女一样(蒋雯丽多大了)

年轻时,她在《金婚》、《正午门下小女人》、《中国式离婚》等剧中留下了许多经典角色,至今仍让人记忆犹新。 除了蒋雯丽和江珊,还有一位女神也让人记忆深刻——陈红。与同龄人相比,许晴仿佛吃了防腐剂一样,依然是青春靓…

蒋雯丽老了,江珊老了,陈红也老了,只有她还像18岁少女一样(蒋雯丽多大了)