英伟达详解全栈协同设计：以内存分层缓解AI推理显存压力

英伟达介绍全栈协同设计应对显存压力

英伟达在官方博客发文，介绍其如何通过全栈协同设计（full-stack codesign）缓解AI推理中的GPU显存压力。文章称，模型规模扩大、上下文变长以及智能体应用的普及，正在推高对高带宽内存（HBM）的需求，而同期内存供应趋紧、价格上涨。英伟达表示，其做法并非单纯在GPU上堆叠更多内存，而是将GPU、CPU、网络、存储与软件一并设计，让内存与存储分层中的每一层承担更合适的任务。

背景：智能体推理放大HBM占用

文章指出，前沿模型参数量已达万亿级，KV缓存随活跃请求增长，智能体轨迹在反复的模型与工具调用中携带先前上下文，部分场景处理量可达300万token，检索增强生成（RAG）又会引入更多待处理上下文。HBM同时承载模型权重与KV缓存，压力因此上升。英伟达称，容量只有在带宽能搬运数据时才有意义，一旦带宽无法跟上算力，就会触及所谓“内存墙”。其应对手段包括：以NVFP4格式压缩模型权重并在NVL72域内分发、对KV缓存应用NVFP4并将闲置上下文经Dynamo软件迁移至CMX上下文内存存储、以及用Nemotron Retriever与cuVS将RAG索引放在HBM之外。文章还列出CMX的存储合作伙伴，包括Cloudian、DDN、Dell Technologies、Everpure、HPE、IBM、NetApp、VAST与WEKA。

限制与来源

文中引用的性能数据来自SemiAnalysis AgentX测试：在DeepSeek V4 Pro负载、每用户100 token/秒条件下，GB300 NVL72每美元吞吐量最高为H200平台的10倍；在每用户125 token/秒条件下，Vera Rubin NVL72最高为GB300 NVL72的30倍，同期每GPU的HBM容量约增加3%。上述数字为厂商博客引述的第三方测试结果，未经本站独立验证，实际表现取决于具体配置与工作负载。产品可用性、定价与地区支持请以英伟达官网当前信息为准。本文来源为英伟达官方博客。