《科创板日报》10日讯,小红书开源了首个大模型dots.llm1,小红书方面告诉《科创板日报》,dots.llm1是一个1420亿参数的混合专家模型(MoE),在推理过程中仅激活140亿参数,能保持高性能的同…
国内著名社交平台小红书,开源了首个大模型——dots.llm1。dots.llm1是一个1420亿参数的专家混合模型,在推理过程中仅激活140亿参数,能保持高性能的同时大幅度降低训练和推理成本。dots.ll…