英偉達提出AI內存全棧協同設計方案 Vera Rubin平台每GPU內存容量僅增約3% 推理吞吐量提升最高30倍

格隆匯11月6日｜英偉達11月5日發佈文章稱，隨着AI模型規模擴大、上下文窗口延長以及智能體應用普及，GPU內存壓力持續上升，HBM供應趨緊、價格上升。英偉達提出通過GPU、CPU、網絡、存儲及軟件協同設計，提高內存使用效率，而非單純增加GPU內存容量。

具體來看，英偉達通過NVFP4低精度格式壓縮模型權重和KV Cache，將暫時不活躍的上下文轉移至成本更低的存儲層，並利用多GPU分佈式部署釋放HBM空間。

英偉達披露，在SemiAnalysis AgentX測試中，GB300 NVL72在特定工作負載下的單位成本推理吞吐量最高達到H200平台的10倍；Vera Rubin NVL72相較GB300 NVL72，單位成本推理吞吐量最高提升30倍，而單GPU HBM容量僅增加約3%。