【小红书开源首个大模型 预训练未使用合成数据】《科创板日报》10日讯，小红书开源了首个大模型dots.llm1，小红书方面告诉《科创板日报》，dots.llm1是一个1420亿参数的混合专家模型（MoE），在推理过程中仅激活140亿参数，能保持高性能的同时大幅度降低训练和推理成本。此外，dots.llm1.ins在预训练阶段使用了11.2万亿的非合成数据，最终性能与阿里Qwen3-32b相比，在中英文、数学、对齐任务上表现接近。（记者 张洋洋）
本站所有文章、数据、图片均来自互联网，一切版权均归源网站或源作者所有。文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，结果仅供参考，今日霍州所有文章均包含本声明。
