NVIDIA NVLink Fusion透过NVHBM定制化高带宽存储器扩展
- 台北讯
-
下一波人工智能（AI）浪潮正对基础设施提出全新要求。
随着AI代理与万亿级参数工作负载逐渐成为主流，AI基础设施的效能不仅取决于运算能力，更取决于运算、存储器、存储、网络与软件能否共同设计为一个统一的系统。
为协助超大规模云端服务供应商与AI创新业者打造下一代半定制化AI基础设施，NVIDIA近日透过NVIDIA NVHBM扩展了NVIDIA NVLink Fusion。NVHBM是新一代高带宽存储器技术，能为XPU带来更高的存储器效能与效率。此技术将由领先的存储器合作夥伴进行验证并提供，让NVLink Fusion客户也能采用这项先进存储器技术。
传统的HBM架构将存储器控制器置于XPU芯片上，会占用原本可用于运算的宝贵芯片面积。NVHBM基于NVIDIA未来GPU将采用的相同技术，将NVIDIA的定制化存储器控制器整合至HBM基底芯片之中。
透过将存储器控制器整合至3D HBM堆叠，而非置于XPU上，NVHBM相较于标准HBM4E，可让存储器带宽最高提升30%、HBM功耗降低15%，并为XPU运算芯片释放多达25%的面积。
NVIDIA正建立标准化的NVHBM实现方案，并由多家存储器供应商提供。这样可降低跨多家供应商整合与验证存储器所需的工程投入，让NVLink Fusion客户能更快将定制化AI芯片推向市场。
Amazon旗下Annapurna Labs将率先与NVIDIA合作开发NVHBM，作为双方扩大NVLink Fusion合作的一部分。
AWS与NVIDIA持续深化NVLink Fusion合作
Amazon旗下的Annapurna Labs将与NVIDIA合作，共同开发NVHBM技术与NVLink垂直扩充架构，以提升AI工作负载的效能与效率。
这延续AWS先前宣布对NVLink Fusion的支持。Annapurna Labs将从Trainium4起，在新一代Trainium芯片中支持NVLink Fusion，让Amazon芯片与NVIDIA GPU能够在共通的机架级架构下协同运作。
Amazon Annapurna Labs副总裁Nafea Bshara表示：「NVHBM代表了一种提升高带宽存储器效能与效率的全新架构方式。我们期待透过这项技术合作，为AWS未来的基础设施设计带来助益。」
垂直整合、水平开放
NVLink Fusion让合作夥伴能够将定制化的XPU和CPU连接至NVIDIA的机架级平台。
合作夥伴可使用NVIDIA NVLink小芯片、NVLink-C2C、NVLink交换器，以及NVIDIA MGX系统与机架，并可串联广泛的生态系，包括CPU合作夥伴、ASIC设计业者、系统制造商与技术供应商。
NVLink Fusion随每一代NVIDIA机架级系统架构提供，让超大规模云端服务供应商与AI原生企业能将工程资源聚焦于XPU创新，同时运用经验证的技术堆叠来处理垂直扩充与水平扩充网络、机架级系统与软件，以更快、风险更低的方式部署半定制化AI基础设施。
进一步了解NVLink与NVLink Fusion。
