NVIDIA Vera Rubin推升每瓦效能 为全球合作夥伴带来最低词元成本 智能应用 影音
DIGITIMES Logo
236
DIGITIMES Logo
TechForum08201
SpecialReport

NVIDIA Vera Rubin推升每瓦效能 为全球合作夥伴带来最低词元成本

  • 赖品如台北

NVIDIA Vera Rubin 推升每瓦效能,为全球合作夥伴带来最低词元成本。NVIDIA
NVIDIA Vera Rubin 推升每瓦效能,为全球合作夥伴带来最低词元成本。NVIDIA

在全球300家合作夥伴支持下,Vera Rubin正加速在全球部署。CoreWeave、Google Cloud、Microsoft Azure与Mistral等NVIDIA合作夥伴正部署Vera Rubin,其每瓦效能与最低词元成本在基准测试中居领先地位NVIDIA Vera Rubin正式登场,并迈向百万瓩级规模。

Vera Rubin NVL72正加速量产,合作夥伴CoreWeave、Google Cloud、Microsoft Azure与Oracle Cloud Infrastructure均已开始运行相关机架。Vera Rubin的机架级供应链横跨30个国家、逾350座工厂据点,规模与成熟度皆创历来之最,可满足客户的运算需求。

Vera Rubin平台从芯片到网格进行整体设计,以提供最高的每瓦效能与最低的词元成本。CoreWeave针对 DeepSeek-R1进行的首次基准测试充分展现这项优势:每百万瓦的输送量为Grace Blackwell NVL72的 10 倍,直接改善电力受限人工智能(AI)工厂最重要的指标。

透过极致协同设计推进效能

实现这一切的关键在于横跨7款芯片与5种机柜托盘的极致共同设计,包括Vera Rubin NVL72、Vera CPU机架、Groq 3 LPX、Spectrum-6 SPX与Vera BlueField-4 STX。这些元件以单一系统为目标进行设计,而非由各自独立的市售现成产品组装而成。

NVIDIA Vera CPU是整套系统的核心,重新定义AI工厂CPU。这款专为代理时代设计与打造的处理器,其定制化的Olympus核心相较于竞争对手的小芯片(chiplet)设计,单执行绪效能提升2倍、核心间带宽提升3倍,并将存储器延迟降低40%,使其成为处理最重要代理型工作负载时,效率最高的单执行绪CPU。

以专为需求打造的网络加速AI工厂

在网络方面,该平台采用第六代NVLink垂直扩展技术,相较于市售以太网络,在处理复杂工作负载的输送量提升超过2倍,延迟降低3倍,封包速率则提升10倍。在横向扩展方面,Spectrum-X以太网络整合 102.4T Spectrum-6交换器系统、1.6T ConnectX-9 SuperNIC、自适应路由、进阶壅塞控制、遥测功能与开放式操作系统支持,使其RDMA带宽较市售以太网络高出1.6倍。

CoreWeave、微软、SpaceXAI与Tesla等全球顶尖AI基础设置建构商,皆率先导入 Spectrum-6交换器,以加速其AI工厂。用于横向扩展且采用共同封装光学元件的NVIDIA Photonics,是业界首款进入量产的此类交换器。相较于可插拔收发器,其功耗降低5倍,平均故障间隔时间(MTBI)提高10倍,CoreWeave、Lambda与OCI均为首批采用者。

Spectrum-XGS以太网络透过1.9倍的多站点输送量,将效能延伸至不同站点,因为百万瓩级AI无法只靠单一设施实现。

NVLink Fusion则向第三方XPU开放NVIDIA基础设施平台,让合作夥伴可透过经过验证的NVLink垂直扩展技术堆叠与生态系,更快将产品推向市场。

节省组装时间与用水

NVIDIA经过三代机架级协同设计,打造出托盘内没有任何缆线、风扇或软管的Vera Rubin NVL72系统,让运算托盘组装时间从数小时缩短至 1 分钟。

摄氏 45 度的液冷进水温度设计,使系统能够在无需冷却机的情况下,直接采用乾式冷却运作。对于新建的 AI 工厂而言,这种高温乾式冷却技术搭配闭回路液冷系统,每部署 1 百万瓦,每年可节省数百万加仑用水。