在当今数字化浪潮中，人工智能（AI）正以前所未有的速度重塑着我们的世界。从自动驾驶汽车到智能家居，从医疗诊断到金融服务，AI的应用场景无处不在。然而，随着AI模型的复杂度和数据量呈指数级增长，传统的计算架构和存储技术正面临着前所未有的挑战。
传统的数据中心及IT设备在处理海量数据时常常陷入瓶颈，而高昂的硬件成本也让许多企业和机构望而却步。在这样的背景下，SOCAMM（Small Outline Compression Attached Memory Module）作为一种创新的内存技术，如同一颗划破夜空的流星，为整个行业带来了新的希望和变革。
目前，在英伟达1月份发布个人AI超级计算机“Digits”后，联想、惠普等全球头部PC厂商以及三星电子、SK海力士，江波龙等厂商都积极跟进SOCAMM内存技术。今天我们就来聊聊为何SOCAMM如此被重视？
▌01 . 算力困局：买不起和买不到催生新AI内存
如今，AI大模型的参数规模正以每年10倍的速度膨胀。例如DeepSeek R1模型的671B版本全量参数已达720GB，训练时需512GB以上内存支撑。传统DDR5内存在AI计算的数据洪流面前愈发捉襟见肘——当处理器80%的时间用于等待数据搬运，算力利用率跌破50%成为常态。
因此，HBM（High Bandwidth Memory）内存的角色变得愈发重要，特别是对于AI训练任务。2025年初，HBM的需求呈现井喷式增，HBM3芯片现货价较2024年初暴涨300%，单台AI服务器的DRAM用量是传统服务器的8倍。
但HBM并不是普通DRAM，它的价格早已到了一个令人咋舌的地步，在相同密度的情况下，HBM 的价格大约是DDR5的5倍，据了解，目前HBM成本在AI服务器成本中占比排名第三，约占9%，单机平均售价高达18000美元。
即便是如此昂贵的HBM，依旧处于供不应求的状态，还在不断涨价。TrendForce在今年5月表示，2025年HBM定价谈判已于2024年第二季度开开启，但由于DRAM整体产能有限，供应商已初步涨价5~10%以管理产能限制，影响范围涵盖HBM2e、HBM3与HBM3e。
而对于中国AI企业用户来说，想要获取搭载HBM和NVIDIA高端的AI解决方案更是难上加难。2025 年 1 月，美国发布新一轮禁令，涵盖HBM2e、HBM3、HBM3e等尖端规格，基本封锁了中国获取最新 HBM 技术的渠道，同时加强供应链管控，限制使用美国技术的海外企业（如三星、SK 海力士）向中国供货。
这个时候，SOCAMM内存凭借其卓越的性能、能效和灵活性，正在成为AI时代存储领域的新宠。
▌02 . HBM与SOCAMM：极致带宽与灵活扩容的互补双擎
HBM 与 SOCAMM 并非简单的“高低配”，而是在整个算力栈中扮演了分层内存的角色。
HBM与SOCAMM分别定位于“极致性能”与“灵活扩展”两端：HBM通过3D DRAM 堆叠+2.5D 硅中介层封装，把 1024-bit 超宽总线和 TB/s 级带宽直接拉到 GPU旁边，满足 HPC、AI 训练、高端图形等对带宽极度饥渴的场景；与焊在 GPU 旁边、追求极致带宽的 HBM 不同，SOCAMM用来给 CPU 侧提供大容量、中等带宽且低功耗的内存。同时，SOCAMM 把高集成 LPDDR 做成可热插拔的模块，优先解决散热、容量弹性与系统成本问题，面向 AI 服务器、边缘工作站等需要“中-高带宽＋可升级”的市场。二者形成互补：HBM 用固定式、高成本的封装换极致带宽，SOCAMM 用可替换、低成本的模块换容量/功耗/设计弹性；当系统既要在核心计算单元旁堆极限带宽，又要在主板级留出后期扩容空间时，可将 HBM 用作近存/缓存，SOCAMM 用作主存或扩展池，从而在同一台设备里同时实现“带宽天花板”与“容量天花板”的双目标。
SOCAMM 像给 CPU 配的“移动仓库”，GPU 的高速小灶（HBM）不动，CPU 的大粮仓（SOCAMM）随用随加。
▌03 . SOCAMM破局：从性能到架构的范式颠覆创新
SOCAMM最早是由英伟达主导、联合三星、SK海力士和美光共同开发的技术，基于LPDDR5X DRAM，通过694个I/O端口的设计（远超传统LPCAMM的644个），将数据传输带宽提升至传统DDR5方案的2.5倍。
SOCAMM的出现，不仅仅是一项技术的创新，更是一场深刻的行业革命。它以一种全新的模块化设计，彻底改变了传统内存的使用方式。
在性能方面，SOCAMM的表现尤为突出，得益于其底层创新设计，包括128-bit总线和近CPU布局，这些设计优化了信号完整性，减少了信号传输延迟，从而显著提升了整体性能。如下图，SOCAMM数据传输速率可达8533Mbps，相比DDR5 RDIMM的6400Mbps，性能提升了约33%，可以满足AI训练和高性能计算中对数据吞吐量的极高要求。
在能效方面，SOCAMM同样表现出色。其采用1.05V的低电压供电，功耗仅为DDR5 RDIMM的1/3。结合液冷技术，SOCAMM能够在高密度部署的场景下有效降低功耗，这对于数据中心的运营成本控制和可持续发展具有重要意义。
不仅如此，SOCAMM还打破了传统内存的物理形态，其尺寸仅为90mm×14mm，相比DDR5 RDIMM的133.35×31.25mm，减小了约70%。这种超小尺寸设计使得SOCAMM能够更灵活地适配各种紧凑型设备，如边缘计算服务器和小型AI推理设备。能够在有限的空间内实现更高的存储容量和计算能力。
这些创新设计使得SOCAMM在性能、能效和空间利用方面都达到了新的高度，为高性能计算和存储领域带来了全新的解决方案。
▌04 . 产业重构：从PC到AI服务器到绿色数据中心
SOCAMM的出现，不仅推动了技术的革新，还催生了新的商业模式和产业链变革。各个厂商都在积极布局，三星电子、SK海力士、江波龙等内存厂商以及PC厂商如联想、惠普等都在积极布局SOCAMM技术。除此之外，SOCAMM内存技术还适用于需要高性能内存支持的场景，如AI服务器、高性能计算、数据中心等。
随着AI、大数据、云计算等技术的快速发展，对高性能内存的需求日益增加，SOCAMM可能在以下几个领域取得积极进展。
在AI服务器中，SOCAMM的高性能和高带宽特性能够完美满足AI训练和推理任务的需求。其能够作为CPU侧的高性价比扩展方案，通过Nvlink-C2C直连CPU，提供大容量（单模块达128GB）的中等带宽存储空间，与HBM形成完美互补。
在绿色数据中心的应用中，SOCAMM的低极致能效（功耗仅DDR5 RDIMM的1/3）与高带宽特性使其成为数据中心的理想选择。其紧凑的尺寸和模块化设计能够有效提高数据中心的空间利用率，从而在有限的空间内实现更高的存储容量和计算能力。
在边缘计算场景中，SOCAMM的紧凑尺寸和低功耗特性使其能够完美适配边缘计算设备的需求。其14×90mm超小尺寸设计使其能够轻松集成到各种紧凑型边缘计算设备中，如小型服务器、智能网关和物联网设备。运维人员可以在不中断设备运行的情况下更换存储模块，从而降低维护成本和系统停机时间。
今年，产业巨头们已闻风而动，美光正为英伟达GB200/NVL平台量产SOCAMM；三星、SK海力士纷纷加入战局；戴尔、联想等ODM厂商已启动基于SOCAMM的服务器生产。凭借仅为HBM 1/4的成本优势，SOCAMM在AI推理与边缘计算领域的性价比定位异常清晰。据规划，2025年仅美光产能即达80万模块，2026年三星/SK海力士将全面量产，第二代SOCAMM更将带宽推至惊人的400GB/s。
在国内市场方面，据悉知名半导体存储品牌企业江波龙在SOCAMM技术的研发和产业布局方面具有独特的优势，并且已与头部客户联合开展SOCAMM开发工作，相关产品已成功点亮。这款名为SOCAMM的创新产品，正以其性能跃迁、灵活部署、能效革新三大突破，重新定义AI时代的服务器内存架构，并成为支撑NVIDIA Grace Blackwell等顶级平台的关键力量，值得国内用户关注和期待。
▌05 . 结语：开启AI硬件的新纪元
SOCAMM技术的市场空间和潜力巨大。随着人工智能、高性能计算和边缘计算等领域的快速发展，对高性能、低功耗存储解决方案的需求将持续增长。SOCAMM凭借其卓越的技术优势和广泛的应用场景，有望在这些领域占据重要市场份额。
SOCAMM不仅是一项技术创新，更是AI时代硬件范式的颠覆性重构。当英伟达将手指大小的内存模块插入Digits超级计算机，人类或许正在见证冯·诺依曼架构诞生以来最深刻的内存革命。
这场变革的终点，或许不是某个技术参数的突破，而是一个万物皆可实时智能进化的新纪元。随着技术的不断进步和生态的逐步完善，SOCAMM有望在数据中心、边缘计算和个人AI设备等领域发挥更大的作用。它不仅将推动存储技术的进一步发展，还将为整个计算行业带来新的机遇和变革。
