你U盘里的内存，可能解决AI的大问题
AI模型的“内存墙”问题一直是行业痛点：大模型参数动辄千亿，推理时需要将全部权重加载到显存，而昂贵的高带宽内存（HBM）供不应求、产能有限。如今，一种名为 高带宽闪存（High-Bandwidth Flash） 的新型存储方案正在浮出水面——它利用成熟的闪存技术，通过先进封装实现远超传统闪存的读取速度，有望成为HBM的低成本替代，让AI推理更高效、更普及。
闪存如何突破带宽瓶颈？
传统NAND闪存虽然容量大、成本低，但读取速度远不如DRAM，无法满足AI模型对实时权重加载的要求。高带宽闪存的核心思路是用“堆叠”换速度：将多颗闪存裸片通过硅通孔（TSV）和微凸点垂直互联，像建高楼一样紧凑封装，同时大幅增加数据通道数。这种设计借鉴了HBM的架构，但基底换成了更便宜的闪存。
据早期测试，高带宽闪存的原型产品可实现10 GB/s以上的连续读取带宽，虽然仍低于HBM的TB/s级别，但已能覆盖中小型模型（如70亿参数以下）的推理需求，且成本仅为HBM的几分之一。
解决AI落地的“存储-计算”矛盾
当前AI部署面临两难：云端数据中心靠HBM堆性能，但成本高昂、功耗惊人；边缘设备（手机、IoT）则因显存不足，只能运行轻量化模型。高带宽闪存恰好填补了中间地带——它可插在PCIe或CXL总线上，作为“近存计算”的缓存层，让GPU/CPU以接近DRAM的速度访问模型权重，却不需要昂贵的HBM颗粒。
对于大模型本地化部署场景（如企业私有化推理服务器、智能汽车域控制器），高带宽闪存提供了一种“够用且便宜”的选项。开发者甚至可以将模型权重直接存储在闪存中，无需在每次推理前从硬盘加载，大幅降低启动延迟。
挑战与前景
当然，高带宽闪存并非万能。它的写入速度仍然偏慢（闪存固有特性），且耐久度不如DRAM，因此更适合读多写少的模型推理场景，而非训练。另外，要与现有AI芯片接口兼容，仍需标准化组织（如JEDEC）制定规范。
但无论如何，这一思路为AI存储打开了新方向。如果高带宽闪能量产，它可能重塑AI硬件的成本结构——让更多企业以更低门槛部署大模型，加速AI从云端走向千行百业。正如Sandisk工程师所言：“我们正在用成熟的技术，解决AI最现实的瓶颈。”