2026年3月3日，美光科技（Mciron）宣布通过向客户发售业内最大容量LPDRAM模块——256GB SOCAMM2样品，进一步扩大了其在低功耗『服务器』内存领域的领先地位。这一里程碑得益于业界首个单体32Gb LPDDR5X设计，代表了AI『数据中心』的变革性进步，提供低功耗内存容量，解锁新的系统架构。
当然，人工智能训练、推理、代理人工智能和通用计算的融合正在推动更高要求的内存需求，并重塑『数据中心』系统架构。现代AI工作负载驱动大型模型参数、宽广的上下文窗口和持久键值（KV）缓存，而核心计算则在数据强度、并发性和内存占用方面持续扩展。
在这些工作负载中，内存容量、带宽效率、延迟和能效已成为主要的系统级限制，直接影响性能、可扩展性和总拥有成本。LPDRAM独特的这些特性组合使其成为AI和核心计算『服务器』在日益耗电和热量受限的『数据中心』环境中的基石解决方案。美光正与『英伟达』合作，共同设计满足先进人工智能基础设施需求的高端内存。
“美光的256GB SOCAMM2产品，使AI和高性能计算（HPC）都能实现最节能的CPU附加内存解决方案。今日的宣布凸显了美光在技术和封装方面的进步，旨在提供业内最高容量、最低功耗、体积最小的模块化内存解决方案，”美光云存储业务部高级副总裁兼总经理Raj Narasimhan表示。“我们在『数据中心』应用低功耗内存解决方案方面的持续领先地位，使我们成为首家推出32Gb单片LPDRAM『芯片』的厂商，助力推动行业采用更节能、高容量系统架构。”
设计目标是容量、能效和工作负载性能优化
美光的256GB内存SOCAMM2为多种AI和通用计算工作负载提供更高的内存容量、显著更低的功耗和更快的性能。
1、AI『服务器』内存容量扩展：
256GB SOCAMM2 SOCAMM2比之前最高容量192GB多出三分之一，为每个8通道CPU提供2TB的LPDRAM容量，支持更大的上下文窗口和复杂的推理工作负载。
2、更低功耗和更小的面积占用：
SOCAMM2 与同类 RDIMM 相比，占用了三分之一的功耗，同时仅占用三分之一的占地面积，从而提升机架密度并降低总拥有成本。
3、推理和核心计算性能提升：
在统一内存架构中，256GB SOCAMM2在用于KV缓存卸载时，能将首个令牌时间（TTFT）提升超过2.3倍，用于KV缓存卸载。
基于美光内部测试结果显示，使用Llama3 70B模型（带FP16量化），使用50万上下文长度和16名并发用户进行实时推理。预计TTFT延迟的改进基于每CPU 2TB LPDRAM延迟0.12秒，而每CPU 1.5TB LPDRAM延迟为0.28秒。即便是面对100万上下文长度，具有2TB LPDRAM的系统依然可以提供更快的TTFT。
在独立CPU应用中，LPDRAM在高性能计算工作负载下，每瓦性能比主流内存模块高出3倍以上。
4、模块化设计以提升可维修性和可扩展性：
模块化SOCAMM2设计提升了可维修性，支持液冷『服务器』架构，并随着AI和核心计算内存需求的不断增长，实现未来容量扩展。
“先进的人工智能基础设施需要在每一层都进行极其优化，以最大化性能和效率以应对高负载的人工智能推理工作负载，”『英伟达』『数据中心』CPU产品主管伊恩·芬德表示。“美光在实现大容量内存和带宽方面取得的成就，其功耗低于传统『服务器』内存，达成了256GB SOCAMM2，正在推动下一代AI处理器的发展。”
推动行业标准并加速低功耗存储器的普及
美光继续在JEDEC SOCAMM2规范定义中发挥领导作用，并与系统『设计师』保持深度技术合作，推动下一代『数据中心』平台在全行业范围内提升能效和性能。
△美光内部测试显示，使用256GB LPDRAM模块的Spark SVM的通用『服务器』可以实现高达4倍的加速。
美光现已开始发货其256GB SOCAMM2的客户样品，并提供业内最广泛的『数据中心』LPDRAM产品组合，涵盖8GB至64GB组件以及48GB至256GB SOCAMM2模块。
编辑：芯智讯-林子
