NVIDIA在MLPerf人工智能基准测试中将推论推向新高度
- 范菩盈／台北
-
NVIDIA 创始人暨CEO黄仁勳表示：「三年前当我们推出A100的时候，人工智能领域主要是以电脑视觉为主导。生成式人工智能已经来临。这正是为什麽我们打造了Hopper，针对拥有Transformer引擎的GPT进行了优化。今天的MLPerf 3.0凸显出，Hopper的效能是A100的4倍。下一时代生成式人工智能需要新的人工智能基础架构来训练大型语言模型，并同时具备极高的能效。客户正在大规模扩展Hopper，透过NVIDIA NVLink和InfiniBand来互通连接数万个Hopper GPU构建人工智能基础架构。产业正努力发展安全可靠的生成式人工智能，Hopper能够协助实现这项重要的工作。」
在最新一轮的MLPerf测试中，运行于DGX H100系统中的NVIDIA H100 Tensor Core GPU在每个人工智能推论测试中均实现了最高效能。人工智能推论是在生产过程中运行神经网络的工作。归因于软件的优化，此GPU的效能较2022年9月首次亮相时提升了54%。而在医疗保健领域，H100 GPU自9月以来在医疗成像的MLPerf基准3D-UNet （医学图像分割）上实现了31%的效能成长。
凭藉其Transformer引擎，基于Hopper架构的H100 GPU在BERT方面表现优异，BERT是基于Transformer的大型语言模型，是现今生成式人工智能获得广泛应用的关键基础。
生成式人工智能能让使用者能够快速创建文本、图像、3D模型等，这种能力从新创企业到云服务提供商都在快速采用，以开创新的商业模式并加速现有商业模式的发展。目前数亿人正在使用像ChatGPT这样的生成式人工智能工具（也是一种Transformer模型），期望获得实时回应。
在这个人工智能的iPhone时代，推论的效能至关重要。深度学习现在几乎被应用到个个领域，从工厂到在线推荐系统，对推论效能有着永无止境的需求。
L4 GPU速度出众
NVIDIA L4 Tensor Core GPU在MLPerf测试中首次亮相，其速度是上一代T4 GPU的3倍以上。 这些加速器采用低调外形封装，其设计旨在为几乎所有服务器提供高吞吐量和低延迟。L4 GPU运行所有MLPerf工作负载。 由于他们支持关键的FP8格式，他们在效能要求极高的BERT模型上的结果尤其令人惊叹。
除了出色的人工智能效能外，L4 GPU还能提供高达10倍更快的图像解码速度，高达3.2倍更快的影片处理速度以及超过4倍更快的图形和实时渲染效能。两周前的GTC上即宣布，已可从主要系统制造商和云端服务供应商获得这些加速器。L4 GPU是NVIDIA在GTC推出的最新人工智能推论平台产品组合的最新成员。
软件和网络在系统测试中大放异彩
NVIDIA的全栈人工智能平台在新的MLPerf测试中展现了其领先地位。所谓的网络划分基准测试会将数据流传输到线上推论服务器，这反映了企业使用者在云端执行AI工作，并将数据储存到企业防火墙后的常见场景。
在BERT测试中，线上NVIDIA DGX A100系统的表现达到了其最大本地效能的96%，速度变慢的部分原因是它们需要等待 CPU完成某些任务。而在仅由GPU处理的ResNet-50电脑视觉测试中，它们达到了100%的最佳表现。这两个结果在很大程度上要归功于NVIDIA Quantum Infiniband网络、NVIDIA ConnectX SmartNIC和NVIDIA GPUDirect等软件。
Orin在边缘显示3.2倍的效能提升
另外，NVIDIA Jetson AGX Orin系统模块的能效和效能表现，与前1年的结果相较，分别提高了63%和81%。Jetson AGX Orin可在有限空间以低功率水平（包括仅由电池供电的系统）提供人工智能推论。对于需要更小模块且功耗更低的应用，Jetson Orin NX 16G在其首次亮相的基准测试中表现出色。它提供的效能比上一代Jetson Xavier NX处理器高出多达3.2倍。
广大的NVIDIA AI生态系
轮有10家公司在基于NVIDIA平台上提交了结果。 他们来自Microsoft Azure云端服务和系统制造商，包括像是由华硕（ASUS）、戴尔科技集团（Dell Technologies）、技嘉（GIGABYTE）、新华三集团（H3C）、联想（Lenovo）、宁畅信息产业（北京）有限公司（Nettrix）、美超微（Supermicro）和超聚变量码技术有限公司（xFusion）。
它们的测试结果显示，无论是在云端或在用户自己的数据中心服务器上，使用NVIDIA AI 获得绝佳效能。
NVIDIA的合作夥伴深知，MLPerf 是一项让客户用于评估 AI 平台及供应商的宝贵工具，因此才会加入测试。最新一轮的结果显示，他们如今提供给用户的出色效能，将随着NVIDIA平台的发展而更将持续强化。
使用者需要多样化的效能
NVIDIA AI是唯一能在数据中心和边缘运算中执行所有MLPerf推论工作负载和情境的平台。其多功能的效能与效率，让使用者成为真正的赢家。
现实应用通常使用许多不同类型的神经网络，这些神经网络通常需要实时提供出答案。例如，AI 应用可能需要理解使用者的口语请求，对图像进行分类，进行推荐，然后以类人声的语音传递回应。每个步骤都需要不同类型的 AI 模型。MLPerf基准测试涵盖这些和其他常见的AI工作负载。也就是这些测试何以确保IT决策者能获得既可靠且可以灵活部署的效能。
使用者可依据MLPerf结果做出明智的购买决定，因为这些测试是透明和客观的。 这些基准测试得到了包括 ARM、百度、Facebook AI、Google、哈佛、Intel、微软、史丹福和多伦多大学在内的广大团体支持。
欲知更多关于 NVIDIA MLPerf 效能与效率提升的优化技术，欢迎浏览官网。
