AI算力演进中的存储变量

1、计算之外，系统约束正在变化

过去两年，行业讨论的核心一直是”算力卡脖子”：谁的TOPS更高、制程更先进，谁又能抢到更多卡。但把推理场景拆开来看，仅用这套逻辑已经很难解释今天的瓶颈。斯坦福大学的Mark Horowitz曾在ISSCC 2014上给出一组经典数据。若只比较近存维度下的计算和memory，其结果很直观：

一次8-bit加法 ≈ 0.03 pJ
一次8-bit乘法 ≈ 0.2 pJ
一次DRAM访问 ≈ 1–2 nJ

一次访存的能耗，相当于几百到上千次计算。对需要反复搬运数据的AI任务而言，能耗和耗时的大头往往不在计算，而在数据搬运。过去20年，峰值算力提升约60000倍，DRAM带宽只提升约100倍，互连仅提升约30倍。典型的AI加速器中，超过90%的能耗用于搬运数据，而非计算数据。

图1｜AI算力瓶颈正在从计算迁移到存储与互连：过去20年，峰值算力增长远快于DRAM带宽和互连能力，数据搬运逐渐成为主要能耗来源。

随着模型精度从FP32逐步降至INT8、INT4，”算不动”的问题大体得到缓解，”喂不动”反而成为更突出的瓶颈：算力单元已经就位，存储带宽和容量却难以及时供给数据。AI算力的关注重点也由此从”算”转向”存”。如果把计算系统比作厨房，过去的问题是”灶火不够猛”，如今更常见的情况是灶火已经足够，食材却无法及时送达。对应到计算系统，瓶颈正从算力转向带宽和容量。

2、HBM的价值边界与现实约束

谈到AI存储，HBM是绕不开的技术。它已成为当前AI加速器的事实标准：HBM3e带宽可达4.8TB/s，DRAM特性使其几乎可以无限擦写，延迟也处于纳秒级。英伟达高端卡的性能释放，很大程度上依赖这种存储。不过，HBM的代价同样明确，尤其体现在容量和成本这两个关键问题上。先看物理层面。DRAM的基本存储单元是”1T1C”（一个晶体管配一个电容）。电容结构限制了存储密度，堆叠层数越高，良率压力也越大。这是物理架构带来的约束，并非单纯依靠工程优化就能消除。再看经济层面。HBM的晶圆转换比大约是3:1：同样的产能，生产HBM只能获得1份产出，生产DDR5则能获得3份。因此，SK海力士也直言：”HBM成本溢价显著，把所有数据都存到堆叠上，经济上不可行。”归根结底，HBM仍是”高成本+低容量”的组合。需求侧的矛盾更为直接。英伟达Blackwell一张卡配置8颗HBM3e，总容量仅192GB；千亿参数模型的权重已从几百GB起步，Agentic AI的token消耗是传统应用的15倍，长上下文的KV Cache还会随上下文线性膨胀，AI视频生成等场景更在向TB级迈进。由此看，当前系统的矛盾排序已经变为：带宽矛盾＞存储矛盾＞算力矛盾。算力不再是唯一瓶颈，容量和成本的重要性明显上升。HBM解决了带宽问题，却没有同时解决容量和成本问题，这正是新型存储技术的机会所在。HBF因此成为山行需要持续关注的一条技术路线。

HBF进入存储分层视野

1、HBF的技术逻辑：把NAND”HBM化”

理解HBF，可以先从两类存储的差异入手。NAND，也就是U盘和SSD采用的闪存，相比DRAM密度更高、成本更低，但速度更慢，对读写方式也更为敏感。具体到数字：以232层NAND约19.8 Gb/mm² 对 D1β DRAM约0.435 Gb/mm² 来算，NAND的位密度大约是DRAM的45倍，每比特成本不到DRAM的1/10。HBF要做的，是把NAND”容量大、成本低”的优势，转化为类似HBM的高带宽形态。其技术逻辑可以概括为：HBF=HBM的的堆叠与并行逻辑+MAND+CBA键合具体来看，主要包括三个环节：第一，底层采用BiCS 3D NAND。NAND的基本单元是”单晶体管+电荷俘获层（CTF）”，不需要电容，多个单元还可串联并共享位线，因此密度天然高于DRAM。这是其容量大、成本低的物理基础。第二，利用CBA（CMOS directly Bonded to Array，CMOS直接键合到阵列）进行晶圆键合。其做法是将”逻辑电路”和”存储阵列”分开制造，再通过铜直接键合。CBA由铠侠/WD首创；传统方案需要在同一片晶圆上同时制造存储和逻辑，受高温工艺及高深宽比接触孔（HARC）电阻制约。CBA拆开了这两项约束，使单元电流提升35%，I/O速率从2.4Gbps提升至3.2Gbps。第三，以并行通道换取带宽，这与HBM4采用的思路相同。NAND单引脚速率不及DRAM，因此通过TSV硅通孔和最多2048个引脚的多通道并行，用通道数量弥补单引脚速率的不足。从结果看，一个HBF堆栈可实现：16层NAND、容量512GB、读带宽1.6TB/s、功耗<60W，延迟为微秒级（约1000ns，约是DRAM的1000倍）；单GPU最高可堆叠至4TB的VRAM容量，每个堆栈带宽为1.6TB/s。尤其是512GB的单堆栈容量，HBM很难达到。HBF的短板也很明确，并且都来自NAND本身的物理特性：·延迟是DRAM的1000倍（微秒级 vs 纳秒级）；采用”页级读写、块级擦除”。数据重写前必须先擦除整个块（>100KB），灵活性有限；·擦写次数有限，浮栅/CTF的氧化物会随使用磨损，难以承受训练场景中的高频随机写。因此，HBF的定位较为清晰：它是面向推理的大容量”近存层”，而非HBM的替代品。若用常见设备类比，HBM更像”内存条”，HBF则更像”SSD”。

图2｜HBM与HBF并非替代关系：HBM承担高速、频繁读写，HBF承担大容量、以读取为主的近存任务。

HBM如同电脑中的”内存条”，速度快、成本高、容量小，适合频繁读写；HBF更接近”SSD”，速度稍慢，但成本低、容量大，更适合以读取为主的任务。SSD与内存条并非替代关系，而是各自承担不同层级的存储任务，有了SSD也仍然需要内存。HBF与HBM也是如此：HBM负责速度要求高且需要频繁读写的数据，HBF负责容量大、基本只读的数据。HBF的价值正在于此：它并非争夺HBM的应用空间，而是补足HBM在容量上的缺口。

2、关键判断：推理内存需要分层，权重与KV Cache各有归宿

HBF能够承担多少数据、HBM需要保留多少容量，取决于一个容易被忽略的物理事实：推理时的内存数据，可以按“读写属性”一刀切成两类——权重100%只读，KV Cache先写后读。两类数据的规模及使用方式，共同决定HBF与HBM的配置比例。权重：完全只读，是decode（解码）阶段的主要瓶颈。推理阶段的权重完全不更新（量化后固化、LoRA适配器也是只读），但每生成一个token，前向传播都要将全部权重读取一遍。因此，decode阶段高度”memory-bound”：单token decode的算术强度约1 FLOP/byte，而H100约295 FLOP/byte。这意味着计算单元99%的时间都在等待权重数据到达（实测”1个decode token的线性开销≈128个prefill token”）。权重的体量同样可观：70B（BF16）≈140GB、405B≈810GB、DeepSeek V3≈1.3TB。规模大、读取频繁且无需写入，正是HBF适合承载的数据。KV Cache：先写后读，需要原生支持写入的存储。KV Cache在prefill阶段一次性写入全部prompt的K/V，此时计算密集、以写为主；进入decode阶段后，每生成一个token都要读取全部历史KV，并追加写入一对新的K/V，转为带宽密集且读写并重。vLLM/PagedAttention表明，它体量大、容量动态增减，需要分页和引用计数管理，这些特征都要求存储原生支持写入。HBF写入能力和耐久性较弱，不适合承载KV Cache，因此KV Cache仍需留在HBM或3D DRAM中。两类数据的配置比例，会随模型和场景而变化：

图3｜推理内存分层的依据是读写属性：模型权重接近纯只读，KV Cache则需要持续读取和追加写入。

总体规律是，百亿参数以上模型的权重占90%以上，而且完全只读，适合由HBF承载；只有在”小模型+超长上下文”场景下，KV Cache占比才会反超，HBM需求随之上升。当前主流推理仍以大模型为主。MoE架构会进一步放大HBF的价值。MoE（混合专家）的特点是总参数规模很大，但每个token只激活其中一小部分。DeepSeek V3总参671B，每token仅激活37B（5.5%）；其余634B非激活专家权重（占94.5%）在当前token计算中并不活跃。已有研究表明，这些专家权重可以从慢速内存按需调入（LRU缓存+推测性预取，2-3倍加速，PCIe 8-16GB/s就够）。再考虑MLA将KV Cache压缩98.2%（DeepSeek V3 @128K仅~4.3GB），DeepSeek V3的HBF:HBM配比可达到约94:6：HBF存放全部671GB专家权重并按需读取，HBM仅保留~51GB（激活专家+KV+激活值）。当模型进入万亿参数级MoE，如Kimi K3 2.8T，权重需1-15TB，HBF的8-16倍容量优势就会转化为刚性需求。四类主流应用对存储的侧重各不相同：可以分别来看：Chat：短上下文场景中，权重占据绝大部分容量，HBF适配度较高；在高batch吞吐下，KV Cache占比上升，需要HBM承担读写。多模态/视频生成：扩散模型采用非自回归方式，不需要KV Cache；权重完全只读，且每生成一段视频需读取50个去噪步（30B模型就是3TB读取/视频），是四类应用中最适合HBF的场景。Coding：属于中长上下文混合场景，在大模型下，权重仍占主要部分。Agent：通常需要5-35步迭代，上下文持续累积，每一步都要读写全部历史KV。其KV Cache读写频率远高于Chat，因此对HBM/3D DRAM读写能力的依赖最强。

图4｜不同推理应用的HBF适配度取决于权重与KV Cache的占比及读写频率；视频生成最适配，Agent场景更依赖可写内存。

从产业演进到投资映射

以上讨论落到投资层面，HBF对山行意味着什么？先明确结论：HBF本身并不是显性的VC标的，但它可能成为AI存储架构重构的一个重要支点。山行关注的不是HBF元器件本身，而是能够利用HBF重构产品能力的企业。这一判断与山行已经布局的两个项目高度契合。

1、HBF是巨头主导的市场，但”键合拐点”值得长期跟踪

HBF成立的前提，是3D NAND层数和键合工艺达到足够的成熟度。当前格局如下：

其中一个容易被忽视的变化是，层数竞赛正在转向键合架构竞争。铠侠CBA、YMTC Xtacking本质上都属于WoW（晶圆对晶圆）双晶圆键合，三星V10、SK海力士下一代产品也将跟进。率先提升混合键合良率的厂商，将获得下一代NAND乃至HBF的成本主动权。各家存储厂商在HBF路线上的选择已经出现明显分化：·SK海力士+SanDisk走开放标准化联盟（2025.8签MOU、2026.2在OCP框架下启动标准化、HBF归入SK海力士AIN-B系列、26H2样品、27年初推理设备、27年量产）；·三星独立自研早期概念HBF，走垂直整合；·美光完全不碰HBF，聚焦HBM4/4E+CXL；·铠侠虽出了5TB/64GB/s原型，但战略重心在AI SSD（IOPS从1000万冲1亿）。这说明，HBF主要是存储巨头和IDM参与的市场，创业公司很难直接进入HBF元器件环节，因此它并不是显性的VC投资机会。但HBF一旦在2027年前后实现量产，将改变上游元器件的供给结构，并进一步扩展下游芯片设计公司的选型空间。后者才是山行需要重点关注的方向。

2、HBF + 3D DRAM：互补协同，为山行布局的云端项目补齐容量

山行的判断是，未来HBF + 3D DRAM有可能成为最好的解决方案。这与山行此前在云端侧的布局逻辑相符。背后的逻辑并不复杂：HBF提供大容量，突破HBM的容量墙，可容纳几百GB到TB级的权重；3D DRAM是最接近量产的超高带宽路线，突破HBM的带宽墙，可承担KV Cache和激活值的高频读写。两者结合，能够更完整地实现第二章所述的”分层内存”：权重下沉至HBF并按需读取，KV Cache和激活值留在3D DRAM中高频读写。相比单一存储方案，HBF+3D DRAM可以更充分地发挥数据分层的价值，很可能成为云端大模型推理未来的”最优解”。山行押注3D DRAM路线，针对的是带宽墙；HBF的成熟则针对容量墙。二者并不竞争，而是相互补充。HBF越成熟，”3D DRAM + HBF”组合的竞争力越强，3D路线的价值也越容易释放。因此，HBF对3D DRAM并非威胁，而是将单一的带宽突破，扩展为”带宽墙+容量墙双突破”的完整云端推理方案。所谓”1+1>2″，具体体现为容量与带宽两项约束的同时缓解。对山行的投资组合而言，项目已经覆盖带宽主线，而HBF所代表的容量主线将进一步增强其产品空间。

3、HBF成熟，为边端侧提供更多选择，也将改善山行所投项目的产品条件

边端侧AI在模型freeze后，权重基本只读，HBF的容量和成本优势更容易体现，因此更适合追求性价比的边端部署。边端侧AI与云端AI对性价比的要求并不相同。云端可以通过堆叠HBM换取性能，边端侧则必须严格控制芯片的BOM成本、功耗和封装。与此同时，边端侧的典型应用，如Coding和多模态生成，工程化程度较高，模型与工作流更容易”freeze”（冻结），权重基本保持不变、以只读为主，恰好符合HBF的能力边界。HBF成熟后，将直接改善边端侧推理芯片的元器件供给。此前，边端侧部署大模型，要么依赖成本高、容量有限的DRAM，要么使用速度较慢、占用空间较大的外置存储，很难兼顾性能与成本。HBF量产后，市场将增加一种容量大、成本较低、针对只读权重优化的选择。HBF成熟意味着，同样成本下，边端AI计算可以容纳更大的模型；同一模型也有机会实现更低的功耗和成本。HBF不会改变边端AI项目发展高性价比推理芯片的主线，但会增加其存储选型的灵活性，并改善BOM结构。

4、组合视角：云端与边端，HBF构成共同的存储变量

将两个项目放在一起，关系会更加清楚：·云端（3D DRAM）+ HBF：HBF补容量、3D DRAM补带宽，共同指向云端推理的”最优解”；·边端（大容量高性价比）+ HBF：HBF为边端侧增加元器件选择，进一步改善性价比。两类项目与HBF的关系不同，但都指向同一条主线：HBF所代表的”分层内存”趋势，既服务于云端的大模型推理，也可能下沉到重视性价比的边端。山行在两端均有布局：云端项目覆盖带宽主线，等待容量路线成熟；边端项目覆盖性价比主线，HBF成熟后可进一步优化存储选型。这也是山行构建投资组合时看重的韧性：不押注单一技术路线，而是形成”无论HBF、3D DRAM谁先成熟，组合都能受益”的结构。随着HBF路线逐步清晰，山行”云端+边端”组合的基础也会更加稳固。

HBF的投资含义不在器件本身，而在其对下游芯片、系统和软件架构的重构与增益。

总结：AI存储走向分层协同

回到本文开头，AI存储正在经历一次少见的”架构级”重构。其主线可以归纳为：算力已不再是唯一瓶颈，”喂不动”的问题日益突出，产业关注点正从”算”转向”存”；·HBM解决了带宽问题，却未同时解决容量和成本问题；HBF利用NAND的密度优势，补足这块”容量”；·HBF不是HBM的替代品，而是其容量搭档：权重下沉HBF，KV Cache留在HBM/3D DRAM，未来可能形成”HBF破容量墙+3D DRAM破带宽墙+3D SRAM做延迟”的三层内存；HBF本身是巨头主导的市场，不是显性的VC标的，但它会扩展下游芯片设计的选型空间。山行关注的是能够利用HBF形成产品差异的企业。从投资组合看，HBF成熟将为山行带来明确利好：对云端3D DRAM项目，它可以补足容量，形成协同；对边端高性价比项目，它可以增加存储选择、改善成本。两类项目分别从带宽和性价比切入，在该路线成熟后都有进一步受益的空间。这正是山行希望构建的、能够应对技术路线不确定性的组合结构。以上是山行关于AI存储架构重构与HBF的第一篇研究。如果您是从业者或对此方向感兴趣，欢迎留言交流，也欢迎将您的想法与项目发送至：bp@hikecapital.com。

资料来源：公开资料，山行资本研究整理；图片引用资料由山行团队整理，图像由AI生成.

从带宽到容量：HBF技术演进与VC投资机会