NVIDIA协助台湾服务器ODM厂开发GPU驱动的数据中心产品

NVIDIA HGX参考架构。

人工智能(AI)受惠于相关领域的积极发展，近年来已更加成熟，应用范围亦日渐广泛，包括自动驾驶、机器人和语音助理平台。 NVIDIA是AI技术发展的先驱，尤其是在GPU平行运算方面的专业技术，更使其跻身为深度学习硬件领导供应商。

GPU原本只是在电玩游戏和好莱坞电影中创造虚拟世界、刺激人类想像力的引擎，不过自1999年后历经20年的发展，现在NVIDIA的GPU已能模仿人类的聪明才智，执行深度学习运算，担负起电脑、机器人和自驾车大脑的角色，感知并理解我们所在的世界。

NVIDIA副总裁暨加速运算部门总经理Ian Buck在被问及「什麽是AI」、「AI能做到什麽」时说道：「我们应该把AI视为运算的新方式。」 AI 之所以在过去10年来渐渐为世人所知，是因为这项技术取代了传统的演算法， AI不需等待人类给予明确的指令，其神经网络便能自行从数据当中推演出演算法。」

Buck说明：「只要给图像网络几百张某个物体的图像，它就能透过自我学习找出最有效率的方法，侦测出该物体。这其实是一种新的运算方式，不再需要人工写程序码，而是让AI自己推演出程序码」。

NVIDIA于Computex 2017宣布与台湾服务器大厂富士康科技(富士康)、英业达、广达电脑及纬创建立夥伴关系，开发GPU导向的数据中心产品，瞄准AI云端运算硬件市场。

NVIDIA将优先提供上述服务器大厂基于和微软Olympus 计划、 Facebook Big Basin系统和NVIDIA DGX-1 AI超级电脑相同的HGX参考架构，以及其GPU运算技术和设计指南，协助他们开发超大规模(Hyperscale)数据中心的GPU加速系统。

Buck指出：「透过建立合作关系，服务器厂商可以选择他们希望怎麽设计数据中心服务器系统的结构，以及他们希望采用什麽部件来达到产品差异化，并为客户提供附加价值。NVIDIA的工程师将持续与服务器厂商密切沟通，确保他们在硬件建构方面获得必要的支持，协助他们在最短的时间内开发出数据中心服务器系统，并且让产品快速上市。」

NVIDIA深知客户希望他们的服务器产品能在规格和冷却方法等方面获得专属定制化服务，因此与ODM厂合作，打造使用NVIDIA HGX-1 架构的产品。

NVIDIA解决方案架构与工程部门副总裁Marc Hamilton也详细介绍了 NIVDIA的最新技术。他指出：「HGX参考设计(HGX reference design)的诞生，是针对需要高效能、高效率和可扩充性的云端数据中心服务器。当ODM厂在设计他们的云端运算数据中心服务器时，也可以借此作为基础架构。」

Hamilton补充说明：「标准的HGX设计架构包含8个SXM2封装的NVIDIA Tesla GPU加速器，透过NVIDIA NVLink高速互连与优化的PCIe 技术串接成立方网格(Cube Mesh)。透过模块化设计， HGX机组适合部署在全球各地现有的数据中心机架，并可随时依照需求采用超大规模CPU节点。」

不过这并非是NVIDIA首次与服务器厂商携手合作。早在2017年3月初， NVIDIA便宣布与微软合作，推出全新专为驱动人工智能云端运算的超大规模GPU加速器蓝图：全新HGX-1。

这是一款结合微软Project Olympus开源设计的超大规模GPU加速器。该全新架构设计是为了满足如自动驾驶、个人医疗照护、人类语音识别、数据与影像分析以及分子模拟等对于AI云端运算技术有爆炸性需求的领域。

NVIDIA相信，云端作业将变得比以往更加多样化且复杂。不过，不论作业负载量多大， HGX-1的高度模块化设计使其能以最佳的效能运行。

同时， HGX-1提供较传统基于CPU的服务器快达100倍的深度学习效能，执行AI训练和推论(Inferencing)的成本却仅占过去的五分之一和十分之一。HGX-1透过与全球各地数据中心合作的高度弹性，提供目前用于超大规模数据中心的AI领域快速且简单的途径。

Buck指出NVIDIA目前对于AI市场的两大贡献，其一是在数据中心，许多终端装置必须向数据中心回传信息才能得到答案，而 NVIDIA 长久以来专注于发展AI技术，并训练神经网络学习新事物。

NVIDIA也与夥伴一同合作开发软、硬件，并提供CUDA、cuDNN、TensorRT等工具包，不管是主流架构或其他应用皆可轻易地使用，加速AI技术的发展与相关研究。

其二是用于各类装置的GPU，自动驾驶系统便是一例。单靠数据中心是没办法让车子顺利行驶的，此应用势必得在车上装载超级电脑。 NVIDIA 拥有多种解决方案，包括 Jetson 嵌入式平台与使用于数据中心的GPU，皆可应用在超级电脑中。

微软、NVIDIA和富士康子公司鸿佰科技(Ingrasys)共同打造HGX-1平台的架构与设计，此为开放资源，是微软Project Olympus对于「开放运算计划」(Open Compute Project)所作的贡献，其目标是将开源效益应用于硬件上，并迅速提高数据中心内外的创新脚步。

为了进一步提升HGX平台的效能， NVIDIA于2017年5月初在NVIDIA GTC大会上发表最新GPU运算架构Volta，专为促进下一波AI技术进步与高效能运算而设计。首款基于Volta的处理器「NVIDIA Tesla V100 数据中心GPU」，能够为AI推论与训练带来优异的速度与可扩充性，并加速HPC与绘图作业。

Hamilton说明：「NVIDIA第七代GPU架构Volta拥有210亿个晶体管，可达到等同于100颗CPU执行深度学习应用的效能。」

Volta的最高万亿次浮点运算(TFLOPS)效能较NVIDIA前一代Pascal架构GPU快5倍，与2年前推出的Maxwell架构相较则快15倍。此效能提升的幅度是比摩尔定律所作预测的超出4倍以上。随着网络日趋复杂，数据中心也需要提供比以往优异许多倍的处理效能。其也必须有效扩大规模，以因应快速普及基于AI的高精准度服务，譬如自然语言虚拟助理，和个人化查找与建议系统。

Volta将成为高效能运算的新标准。该架构为HPC系统建构了技术平台，使其能在电脑科学与数据科学方面的洞察表现超群绝伦。藉由在统一架构中搭配CUDA核心与最新Volta Tensor核心，采用Tesla V100 GPU的单一服务器便能取代传统HPC中数以百计的商用GPU。

包含Tensor核心在内的技术都是为了加快AI作业而设计。Tesla V100 GPU配备640个Tensor核心，每秒可提供120万亿次浮点运算的深度学习效能，相当于100颗CPU。进化后的NVLink提供次时代高速互连技术连接GPU，也连接GPU和CPU，且输送量与前一代NVLink相比最高可达2倍。

与三星(Samsung)合作开发的GPU可支持900GB/s HBM2 DRAM，使该架构的存储器带宽较前一代GPU高出50%以上，是Volta达到超高运算输出效能的功臣。NVIDIA Tesla P100和V100 GPU加速器皆与HGX兼容，因此基于HGX的所有产品都可以立即自P100升级至V100 GPU。

有了基于 NVIDIA Volta架构的GPU提供比前代高出3倍的效能， ODM厂便能推出基于最新NVIDIA技术的新产品，满足市场需求。对于希望采用最新NVIDIA GPU云端平台的云端供应商来说，HGX是最理想的参考架构。NVIDIA GPU云端平台管理了各项全面整合且优化过后的深度学习架构，包括 Caffe2、Cognitive Toolkit、MXNet和TensorFlow。

Buck指出：「 NVIDIA在不同领域都观察到AI应用正经历高度成长。」他并补充说明：「市场对于超大规模云端、传统OEM与AI支持之个人工作站有高度的兴趣。 AI开发商与研究机构，对于消费性高端个人电脑(PC)和笔记本电脑的需求也不断提高。」

Buck表示：「目前主要的公共云端运算服务供应商皆已采以GPU驱动的数据中心服务器来因应其运算需求，而促进此趋势发展的背后推手则是AI技术。」

而此现象亦呼应了最新的市场趋势。 2016年，鉴于全球服务器需求，台湾服务器营收较前一年成长了4.8% ，达新台币5,558亿(186亿美元)。

随着亚马逊 (Amazon)、 Google、 Facebook和微软等数据中心客户的订单可望进一步增加，此金额预计将在2017年成长至新台币 5,886 亿。随着市场对于搭载AI技术的产品如机器人、智能语音助理和自动驾驶解决方案需求看涨， GPU导向的数据中心服务器在产业界可望大受欢迎。

尽管还有许多AI相关应用尚未完全成熟，但是过去几年来此领域依旧商机看俏。有了 NVIDIA的积极投入和协助，尤其是在软件方面的贡献， AI可望成为IT产业新的成长引擎，也是台湾硬件厂商可积极开拓、把握新契机的产业方向。