突破内存墙：HBM 的崛起与技术路线图
HBM（高带宽存储器）通过 3D 堆叠和超宽接口，成为 AI 加速器的标配内存。但它的制造依赖复杂的硅通孔（TSV）工艺和先进封装，良率、产能和供应链都存在瓶颈。本文梳理 HBM 的技术原理、关键挑战及未来演进方向，帮助开发者理解这一“内存墙”上的关键变量。
为什么 AI 离不开 HBM？
AI 模型越跑越快，对内存的要求也越来越高——不仅要装得下海量参数，还得能以极低延迟、极高带宽喂给计算单元。传统 DRAM 受限于物理引脚数量，带宽很难再大幅提升。HBM（High Bandwidth Memory）通过把多个 DRAM 芯片垂直堆叠在一起，并用超宽的数据总线连接，在带宽、密度和能耗之间取得了目前最好的平衡。正因如此，所有主流 AI 加速器（NVIDIA GPU、AMD GPU、Google TPU 等）都采用了 HBM。
制造 HBM 的核心难点：TSV 与先进封装
HBM 的生产并非简单地堆叠芯片就行，它有两个关键技术瓶颈：
- TSV（硅通孔，Through-Silicon Via）：在每层 DRAM 芯片上钻出垂直的微小通孔，填充导电材料，让电信号能穿透各层直接连接。TSV 的产能和质量直接影响 DRAM 晶圆能转换成多少 HBM 晶粒。
- 先进封装（如 CoWoS、MR-MUF）：将堆叠好的 HBM 模块与计算芯片（GPU/TPU）封装在同一基板上。CoWoS（台积电的晶圆上芯片封装）是目前主流，MR-MUF（SK 海力士的批量回流焊模塑技术）则在后端封装中有更高的生产效率和更好的散热性能。
简单说，TSV 产能决定了“能不能造出足够多的 HBM”，封装能力决定了“能不能让 HBM 和计算芯片紧密配合”。
HBM 的物理限制：岸线决定面积
HBM 必须紧贴着计算芯片的“岸线”（die edge）布置——就像码头边的泊位，数据才能以最短路径传输。这个物理限制限制了单个 SoC 上能放多少个 HBM 模块，也推动了更高层数（更多 DRAM 芯片垂直堆叠）的需求。未来随着模型容量暴涨，单 GPU 的 HBM 容量可能从现在的 80GB 左右跃升到 1TB（NVIDIA Rubin Ultra 路线图），这意味着堆叠层数必须从 8 层、12 层继续往上冲。
供应链的脆弱性：垄断与地缘
HBM 封装设备市场高度集中。韩美半导体（Hanmi）几乎垄断了热压键合（TC Bonder）环节，但近期与 SK 海力士的纠纷暴露了单点依赖的风险——SK 海力士曾 100% 依赖韩美设备，后者一度撤出现场服务团队，迫使 SK 海力士以高价订单和解。其他设备商（ASMPT、Besi）正在加紧推出 HBM 专用 TC 键合机，但短期内产能博弈仍会影响 NVIDIA 等客户的 GPU 出货节奏。
与此同时，中国 HBM 自研正在加速。长鑫存储（CXMT）的 HBM2（8 层堆叠）预计 2025 年上半年量产，TSV 产能年底可匹敌美光；华为则通过 XMC 和 SJSemi 布局研发级产能。政府五年 2000 亿美元补贴中部分将投向 HBM。虽有出口管制，但反而促使中国扩大产能储备，可能改变 2026 年后的全球供需格局。
堆叠层数的天花板：厚度、良率与混合键合
HBM 的物理高度一直受到 JEDEC 标准限制——目前标准厚度上限是 720 微米。为了塞进更多层，每颗 DRAM 芯片必须不断减薄，但薄芯片容易翘曲、破裂，影响良率。
- 12 层堆叠（12-hi）：已接近 720 微米厚度极限。JEDEC 已确认将标准放宽到 775 微米，这让 16 层堆叠可行，未来可能进一步放宽。
- 混合键合（Hybrid Bonding）：通过消除凸块间隙来节省高度，但良率和成本挑战巨大。好消息是，HBM 并不需要混合键合提供的高互连密度，它的主要优势是节省高度，但功耗和散热增益有限。因此内存厂在 HB 技术上进展缓慢：三星较为激进，SK 海力士和美光相对谨慎。
- 16 层 vs 20 层以上：16 层可用放宽标准厚度解决；20 层以上需要进一步减薄或缩小凸块间隙，否则可能只能止步于 16 层。如果计算芯片厚度不动，HBM 堆叠超过 775 微米还需升高中介层模塑来保持共面性，但这会延长走线、增加硅桥互联的难度。
良率随层数急剧下降
一个直观的数学模型：假设单层良率 99%，8 层堆叠的总良率约 92%，12 层降到 87%。但实际中非共面性缺陷会随层数累积，良率远低于理论值。这就是为什么厂商在 12 层以上产品中要投入大量精力优化封装工艺。
对各方的影响
- 内存供应商是最大赢家：从 NVIDIA A100 的 80GB HBM2E 到 Rubin Ultra 的 1024GB HBM4E，单芯片内存物料成本占比急剧上升。
- 芯片设计者需提前布局：岸线区域价值凸显，推动内存控制器卸载、自定义基片等创新方案。同时每次 HBM 容量跳跃（如 80GB → 192GB）都会被模型参数、上下文长度和 KV 缓存迅速吞噬，设计者必须规划更高效的量化与卸载方案。
- 设备商迎来新机会：韩美半导体之外，ASMPT、Besi 等正在抢占 TC 键合机份额，封装设备产业链有望多元化。
- 地缘因素改变格局：中国 HBM 自研短期难以达到国际水平，但出口管制反促其产能储备，可能 2026 年后形成新供需平衡。
关键要点
- TSV 产能是 HBM 扩产的核心瓶颈，先进封装（CoWoS / MR-MUF）决定量产能力。
- 12 层以上堆叠面临厚度、良率和热管理的三重挑战，混合键和非必需但可能用于更高层数。
- HBM 封装设备存在单点依赖风险，韩美半导体纠纷暴露供应链脆弱性，设备商正在多元化。
- 中国 HBM 自研加速，CXMT 2025 年 HBM2 量产，TSV 产能年底匹敌美光，可能影响 2026 年后供需。
- “内存-帕金森”效应持续：每次容量升级都被模型吞噬，设计者需提前规划高效压缩与卸载策略。
摘要：HBM4的自定义基片设计将彻底改变存储与逻辑芯片的集成方式，让HBM从标准化产品转向按需定制。KVCache卸载和解耦架构的普及，进一步放大了定制化的价值。对AI芯片厂商和开发者而言，尽早与供应商合作定制基片，将是获取差异化性能的关键。
背景：从标准品到定制品的转变
上一部分我们回顾了HBM的制造工艺、供应商竞争格局，以及KVCache卸载、解耦Prefill与Decode、wide/high-rank EP等技术。本部分聚焦于HBM的未来演进——尤其是HBM4采用自定义基片（custom base die） 带来的根本性变革。
关键判断：自定义基片重塑竞争规则
- HBM4的自定义基片将存储器与逻辑芯片的集成方式推向新高度。HBM不再只是标准化存储颗粒，而能针对AI推理、训练等特定计算需求进行定制优化。供应商之间的竞争重心，将从单纯的堆叠层数或带宽提升，转向基片设计能力与客户协同深度。
- KVCache卸载与解耦架构的普及，进一步放大了HBM定制化的价值。通过将活跃KV留在HBM、低频KV卸载到DDR或NVMe SSD（类似CPU的多级缓存管理），AI芯片可以在不增加昂贵HBM容量的前提下，缓解内存瓶颈。但这也要求HBM在带宽、延迟和定制接口上提供更灵活的支持。
影响：开发者需要提前布局
- AI芯片和系统开发者应尽早与HBM供应商建立定制基片合作关系，以获得差异化的性能优势。原本由标准内存设计方法论主导的流程，将被产业链中的基片设计、先进封装与测试环节所挑战。
- HBM供应链格局随之调整。三星等厂商的产能波动可能影响芯片供应节奏；而定制基片能力（如HBM4的custom base die）和PHY技术演进，将进一步重构供应商之间的权力平衡。
- 对开发者的直接启示：在推理系统中关注内存层次设计，针对代理、长对话等高频场景优化缓存命中率，避免因带宽瓶颈拉低吞吐与经济效益。固定代码库查询比普通聊天需要更多KV缓存，推理架构应针对用例差异化设计。
关键要点
- HBM4的定制基片使HBM从标准化产品变为可定制组件，竞争核心转向基片设计与客户协同。
- KVCache卸载+解耦架构是缓解HBM压力的主流方案，但需要系统级内存层次设计的配合。
- AI芯片厂商和开发者需提前与供应商合作，布局定制基片开发，以应对推理和训练场景的差异化需求。
- 产业链中基片设计、先进封装与测试环节将迎来新增长，传统内存设计方法论面临迭代压力。