专为Vera Rubin打造 NVIDIA Spectrum-6进驻百万瓩级AI工厂
- 赖品如／台北
-
全球最先进的AI工厂正整合数十万个GPU与CPU，用于训练前沿模型、驱动代理型AI，并以前所未有的规模生成智能。在此规模下，网络成为提升运算能力的关键倍增器，进一步加速词元生成。
NVIDIA Spectrum-6写下网络技术的重要里程碑。这套专为NVIDIA Vera Rubin平台打造的以太网络交换器系统，每秒传输速率达102.4 Tb，容量为前一代系统的2倍，目前正陆续部署于全球各地的百万瓩级AI 工厂。
Spectrum-6是NVIDIA Spectrum-X以太网络平台下一代产品的核心，提供将AI工厂作为单一端到端运算系统运作所需的带宽、扩展能力与智能化网络功能。
领先AI建置商率先采用
全球领先的AI基础设施建置商，包括CoreWeave、微软、Nebius、SpaceXAI与Tesla，将成为首批导入 Spectrum-6、加速AI工厂的企业。
对云端服务供应商而言，Spectrum-6意味着更多运算能力能作为统一且高效能的资源运作，协助客户更快训练模型并部署推论服务。
CoreWeave网络产品总监Min Jun表示：「CoreWeave专为最严苛的AI工作负载打造，而网络是能否在大规模环境下实现此等效能的关键。将NVIDIA Spectrum-6与液冷式Spectrum-X以太网络基础设施导入我们的AI工厂，将有助于提供客户训练前沿模型及加速部署推论所需的带宽、韧性与效率。」
Nebius全球合作夥伴关系副总裁Laurelle Roseman表示：「在百万瓩级规模下，效能取决于协同运作，也就是让每个GPU保持同步，避免单一缓慢连线拖慢整项工作。NVIDIA Spectrum-6正是为解决这项挑战而打造，这也是我们率先导入的原因。即使客户最严苛的工作负载持续扩展，这套网络架构仍能维持高速与高韧性。」
对自行建置基础设施的AI先驱而言，Spectrum-6能让更多GPU同步运作，在高负载的集体运算期间提升使用率，并为长时间执行的工作提供更高韧性。无论应用情境为何，都能在超大规模环境下更快取得成果，并创造更佳的经济效益。
CoreWeave、微软与Nebius将成为首批部署搭载Spectrum-6的NVIDIA Vera Rubin基础设施供应商，让更多开发者、新创公司与企业能够使用此平台。
AI效能的关键在于网络 单凭GPU峰值效能已无法反映AI工厂的整体效能
大规模训练与推论工作负载，仰赖数千个加速器持续交换数据。集体通讯是协调各GPU同步运作的基本操作，会产生大量东西向流量，且通常有多个系统同时传输数据。
以太网络最初主要针对企业应用，以及使用者、服务器与存储系统之间的南北向流量而设计，并非为百万瓩级 AI 所需的同步与集体通讯密集型传输模式打造。
Spectrum-X以太网络改变了这项局面。Spectrum-X专为AI打造，将以太网络转化为高效能横向扩展网络架构，确保每个GPU都能持续取得所需数据。
新一代Spectrum-X以太网络
Spectrum-6交换器芯片与NVIDIA ConnectX-9 SuperNIC结合，构成新一代Spectrum-X以太网络，并纳入NVIDIA Vera Rubin平台的整体设计。NVIDIA Vera Rubin整合NVIDIA Vera CPU、Rubin GPU、NVLink 6 Switch、ConnectX-9 SuperNIC、BlueField-4 DPU与Spectrum-6以太网络交换器。
Spectrum-6同时支持可插拔式光学元件与共同封装光学元件。此外，Spectrum-6产品亦支持液冷，为整座AI工厂提供完整的端到端冷却方案，同时提升网络能源效率。
不同于通用型以太网络，专为AI工厂横向扩展打造的NVIDIA Spectrum-X以太网络平台，整合智能交换器、NVIDIA ConnectX-9 SuperNIC与全端网络软件，所有元件皆针对AI设计。平台的先进功能会持续最佳化网络架构中的流量传输方式。
此外，NVIDIA Spectrum-X技术可在可用路径之间智能平衡流量、迅速绕过故障，并在网络传输数据未能抵达目的地时精准复原。平台亦支持开放式网络操作系统，并提供多种RDMA传输模型选择，让AI建构者在不牺牲效能的情况下保有弹性。
Spectrum-X以太网络体现NVIDIA垂直整合、水平开放的策略，也就是在完整运算平台中共同设计芯片、系统与软件，同时支持标准以太网络、开放式网络操作系统、开放协定，以及由云端服务供应商、系统制造商与基础设施合作夥伴组成的广大生态系。客户无需自行组装各项元件，再于事后进行最佳化，即可采用完整的AI工厂平台，缩短模型训练时间并降低每词元成本。
Spectrum-X以太网络展现了这项设计方法的成效，其AI网络效能最高可达通用型以太网络的1.6倍，并能在超过10万个GPU的部署环境中，维持最高95%的网络效率。由硬件加速的Spectrum-X多平面拓朴，可将数据中心所需的交换器数量减少1.7倍，进一步提升网络效率。
结合Spectrum-X以太网络光子技术所带来的效益，包括5倍更高的能效，以及平均故障间隔时间改善10倍，网络架构的强化，持续带来工作负载加速，超越单一元件层级的最佳化。
深入了解NVIDIA Spectrum-X以太网络平台。
