AMD前高管领衔24人团队逆袭:硬编码『芯片』HC1实现每秒17000 token新突破(amd公司全球高级副总裁)
与传统方案相比,HC1不仅将推理速度提升10倍,更将成本压缩至二十分之一,功耗降低至十分之一,为LLM(『大语言模型』)的实时应用开辟了新可能。针对『DeepSeek』R1-671B等超大模型,团队提出了多『芯片』协同方…
与传统方案相比,HC1不仅将推理速度提升10倍,更将成本压缩至二十分之一,功耗降低至十分之一,为LLM(『大语言模型』)的实时应用开辟了新可能。针对『DeepSeek』R1-671B等超大模型,团队提出了多『芯片』协同方…

除了Llama 3.1,Taalas也尝试将其它模型集成到HC1上,例如对『DeepSeek』R1-671B的多『芯片』解决方案。 将SRAM部分拆分到单独的『芯片』上,然后可以将每片HC1的存储密度提高到约20位参数…
