AI创新者采用NVIDIA Vera：大规模运作具最高单执行绪效能的CPU
- 陈俞萍／台北
-
大规模运作下仍具备最高单执行绪效能的CPU，是为代理型人工智能（AI）时代打造的全新CPU类别。
在代理型系统的建置与部署过程中，CPU处于关乎推理、回应时间与学习的关键路径上。CPU是执行AI模型指令工作的处理器，包括工具呼叫、程序码执行、数据处理、KV快取与结果分析。
对AI工厂中的代理而言，速度至关重要。CPU执行工具的速度越快，代理完成当前任务的速度就越快。
对AI工厂而言，GPU利用率是数据中心最具价值的资源，因此任何等待任务完成的时间，都会限制AI工厂的收益，更甚者，还可能因等待CPU完成任务而影响GPU的利用率。AI工厂需要具备最高单执行绪效能的CPU，才能将AI工厂的收益与代理效能最大化。
当今数据中心的CPU并非为大规模环境下的速度而设计
虽然目前已经有适用于PC与工作站的高速CPU，但数据中心CPU的发展方向，已逐渐偏离单执行绪效能。云端的兴起促使CPU制造商打造更高核心数的CPU，并透过牺牲效能来降低成本。
为了最佳化每个可租用核心的成本，CPU芯片中的核心数不断增加，却也排挤了原本能让这些核心高速运作的芯片面积，例如高效能存储器互连架构，以及每核心更快的指令处理能力。转向小芯片（chiplet）架构虽然进一步降低了成本，却也带来「小芯片税（chiplet tax）」的问题，使每个 CPU 的核心无法再充分利用芯片的完整存储器效能。
AI代理需要一款专为在大规模环境下实现最高单执行绪效能而设计的CPU
大规模运作下仍具备最高单执行绪效能的CPU，能在系统满载时，让每个代理步骤维持高速运作。每个核心皆能以完整效能完成代理任务，不会受到其他核心拖慢。大规模运作下仍具备最高单执行绪效能的CPU采用不同设计，旨在实现：负载状况下具备强劲的每核心效能；足够的每核心存储器带宽，为运作中的核心持续提供数据；可预测的延迟。
每个核心都能在不受其他核心拖慢的情况下完成自身任务，带来出色的输送量，更重要的是，能实现单核心任务的极致效能。
NVIDIA Vera展现了这类全新CPU设计
如何打造在大规模运作下仍具备最高单执行绪效能的CPU，以执行代理型循环
AI代理不会在处理单一请求后就停止运作，而是以循环方式运作。模型会推理下一步该如何移动，CPU会执行与模型相关的工作，结果会回传给模型，模型再决定下一步该怎麽做，接着循环再次运作。
这种模式形成了传统CPU未经最佳化的需求样貌。传统CPU的工作具备间歇性且由使用者驱动，主要由人们触发的短暂互动所构成。代理型工作则是持续且平行的：大量的代理持续运作，每个代理依序执行一系列步骤，而每个步骤都取决于前一步的结果。
CPU的核心数越多，意味着每个CPU可处理的代理任务越多，数据中心CPU也需要大量核心来最大化任务输送量。
然而，增加CPU核心数并无法缩短单一代理循环中每个步骤所需的时间。更多核心无法让单一任务运作得更快。事实上，为了最大化核心数而设计的CPU，甚至可能因核心争夺资源而降低每个核心的效能。
要推动每个步骤的完成速度，单一核心的个别效能至关重要。增加核心数所带来的输送量固然有用，但仍不足够。由于每个动作都取决于前一步的结果，单一核心的速度决定了循环推进的速度。
最终，最顶尖的代理型CPU需要具备每核心最佳的单执行绪效能，且每个核心都必须毫不妥协地提供这样的效能。世界以秒计算，代理则以奈秒计算。NVIDIA Vera正是为这类全新工作型态与速度需求而打造。
NVIDIA Vera是为代理打造，在大规模运作下仍具备最高单执行绪效能的CPU
NVIDIA Vera是一款在大规模运作下仍具备最高单执行绪效能的CPU，从头开始为代理循环而设计，也就是代理在使用工具、处理数据、执行程序码与检查结果时，于模型呼叫间所进行的工作。
Vera的核心是Olympus，NVIDIA定制化的CPU核心，其每周期指令数较NVIDIA Grace提升 50%。这点相当重要，因为许多代理的步骤都是依序进行。无论是工具呼叫、程序码执行、测试运作或数据处理步骤，都必须先完成，下一次模型呼叫才能使用其结果。更快的核心能让每个循环更快向前推进。
Vera将这些更快的核心，搭配高达1.2TB/s 的 LPDDR5X存储器带宽，且存储器功耗低于40瓦。此外，Vera采用单片运算裸晶，有助于让运作中的核心持续获得数据供应，并透过3.4TB/s的核心对核心带宽，维持可预测的数据传输，这是其他任何数据中心CPU的3倍。这使得所有88个核心都能取得CPU的完整存储器效能，同时避免产生会拖慢每个核心速度的瓶颈。
其结果是代理循环运作得更快。在代表代理型执行的满载CPU工作负载中，Vera展现的每核心持续效能是x86的1.8倍。
这些效益会在工具呼叫、程序码执行、数据处理步骤与验证流程中不断累积，协助AI工厂以现有GPU完成更多代理工作。
Perplexity 已在每日运作的代理型工作中测试Vera。在执行真实的程序码工作流程，也就是复制存储库并在沙盒中执行其测试套件时，Vera完成工作的速度约比x86快1.5倍，并能以最高1.9倍速度启动并行沙盒。Perplexity目前正计划在其即将上线的生产系统中部署Vera。
代理同样仰赖数据。它们不断查询、撷取、筛选与传输信息，而Vera能更快地执行这些CPU端数据工作负载。合作夥伴的测试显示，相较于领先的x86服务器CPU，Vera搭配Starburst可实现快3倍的大规模 SQL 分析，搭配Redpanda进行实时串流处理时，则可实现最高6倍更低延迟。
代理工作并非单一工作负载。代理会执行工具与沙盒、处理数据、回应请求，并透过强化学习训练下一个模型，而这一切都依赖相同的优势。
单一Vera即可处理所有应用场景，无需针对每种工作负载配备不同的CPU。此外，由于Vera同时是NVIDIA Vera Rubin中承载GPU的CPU，也驱动NVIDIA BlueField-4 STX存储处理器，因此整个AI工厂皆基于单一架构与单一工具链运作。
NVIDIA的脚步仍未停止。搭载Rigel核心的NVIDIA下一代Rosa CPU，将延续NVIDIA为代理型AI时代打造的CPU产品蓝图。Rigel是NVIDIA下一代ARM v9.2 CPU核心，在维持相同芯片面积的同时，提供比Olympus更高的每核心效能。主要改善包括更好的指令传递、更大的L2快取，以及更高效的存储器处理。
为代理的速度而打造
在代理型AI时代，全球将出现数10亿个代理，而每个代理都将仰赖CPU来移动、检查、撷取、执行与验证。在这个全新市场中，代理完成的工作就是产品。
更快的代理循环能协助每颗GPU将更多时间用于执行可产生收益的工作，并减少等待时间。NVIDIA Vera正是为这个未来打造的CPU。深入了解NVIDIA Vera CPU。
