NVIDIA因应GPU运算需求 将AI推论解决方案拓展至各个产业

NVIDIA EGX 边缘堆叠示意。

全球在云端运算领域找寻人工智能(AI)全新利基市场的发展机会，近年来陷入了成长停滞，而NVIDIA希望进一步提升产业层级并在未来几年加速改变产业的样貌。AI的企业应用趋势正在崛起，并且正在形塑从云端到边缘的全新市场。

云端服务业者与企业界认知到AI系统会带来营运效能提升、改善消费者体验并创造新产品服务等优势之后，开始转而投注资源在AI推论的应用，以创造最大化的利润与营收，今天AI推论的应用常见于搜索引擎，或是Netflix的影片推荐，以及Alexa智能语音助理，其他诸如像在智能流程自动化、网上购物顾问与产品推荐及新药开发等使用案例上，都出现了强劲的成长。

NVIDIA宣布推出两个专为AI运算而打造的主流服务器产品，包括用于数据中心AI运算的服务器，与搭载NVIDIA GPU及软件的边缘服务器。

这次在COMPUTEX 2019期间特别专访NVIDIA产品行销总监Paresh Kharya，分享NVIDIA近期在云端与边缘运算领域的产品布局，以及如何把握AI推论市场所创造的无穷商机。

他长期与客户及生态系夥伴共同合作，为AI领域发展多样化的智能解决方案，提供以NVIDIA AI与深度学习技术打造的端到端解决方案。同时，NVIDIA也与云端平台巨擘如Amazon AWS和微软Azure紧密合作，整合其技术与软件堆叠，助力开发者运用云端与边缘的机器学习加速运算。

NVIDIA T4 GPU推动企业服务器解决大规模运算难题

现今全球的AI应用与投资仍持续走扬，有一个很大的发展重点是AI推论芯片的多头发展态势，以NVIDIA本身推出NVIDIA T4 GPU为例，AI推论在云端服务的投资上愈来愈显着，一些以CPU为主的AI推论芯片也应运而生。

Kharya表示，与CPU AI推论芯片相比，NVIDIA T4 GPU在效能上足足超出约40倍之多，而且与不同深度学习框架所发展的AI推论比较，在自然语言识别的效能中NVIDIA GPU的领先幅度更为突出。

以NVIDIA T4 GPU驱动的企业级服务器透过Turing架构执行CUDA-X AI应用软件加速函式库，能大幅提升效能，协助企业掌握先机，其中包括AI的应用、机器学习、数据分析与虚拟化桌面技术。NVIDIA T4 GPU是专为数据中心所打造，并且只需要70瓦的耗能即可运作。

目前NVIDIA T4 GPU企业级服务器已经从早期的服务器品牌大厂率先投入，发展至今已有超过30家OEM/ODM 大厂一起共襄盛举。NVIDIA T4能为主流的企业服务器提升运算效率。

然而，它并非如先前所推出像是NVIDIA V100这类较大型且更加强大的GPU之替代品是专为AI训练和高效能运算、特定领域的垂直式扩展服务器所打造，而是在极低耗能、低价位的前提下却拥有优秀的效能表现，这将有助加速AI应用的部署，比过去的机器学习训练模型更有效率，其中热门的应用领域包括AI客户支持与服务、网络安全、智能零售与制造。

NVIDIA EGX平台驱动低延迟AI边缘运算

随着数十亿来自企业的IoT装置传感器每天产生超大量的数据，需要分析这些数据进而产出商业洞察的需求也随之强劲，Kharya表示，为了让这些数据对商业决策带来最大效益，这些数据必须透过AI实时处理。

边缘运算可让由传感器装置所产生的数据在接近传感器时就被处理，而不需要传回云端。边缘运算能够补足云端运算，让客户能够在网络连线差或甚至断线的状况下也能进行AI运算。

随着边缘运算技术的快速发展，NVIDIA为满足如智能制造机台或自驾车等需要实时回应的AI应用，推出低延迟、高效能的边缘运算平台NVIDIA EGX，赋予终端装置实时回应的能力。Kharya强调，像EGX平台这样的边缘服务器将被在全球被大量部署，能够实时处理来自于传感器的庞大数据。

NVIDIA EGX平台的微型服务器是由Jetson Nano GPU 芯片打造而成，消耗功率只有区区几瓦，非常省电，具备每秒五万亿万亿次浮点运算(TOPS)的效能，可用于处理像是影像识别这类的任务。

Kharya现场展示的参考设计主板可以连接8个摄影镜头，做为智能交通号志与管理解决方案之用。随着需要更加强大效能的各种应用需求，EGX可以透过组合大量的NVIDIA T4企业服务器机柜，提供高达10,000万亿次浮点运算的效能以符合大型AI实时运算的任务。

为了简化在分散式服务器AI应用的管理，NVIDIA推出企业级软件 Edge Stack软件套件，这是一套提供建构于容器应用管理的最佳化软件，包括驱动程序、CUDA Kubernetes的外挂程序、CUDA容器执行、CUDA-X函式库，另外也提供容器化AI框架与应用，如TensorRT、TensorRT推论服务器与DeepStream软件。NVIDIA也与Red Hat合作，将NVIDIA Edge Stack与OpenShift进行整合并优化。

推广NGC-ready的服务器验证计划

NVIDIA的T4 GPU企业服务器需要具备执行最佳化NVIDIA CUDA-X AI加速程序库的能力，让企业界可以提供多样化与效能卓着的优异服务。NVIDIA为了协助企业打造符合最高要求的服务器，以NVIDIA GPU的强大系统部署GPU加速软件，NVIDIA提供NGC-ready的服务器验证计划。

透过此计划，搭载NVIDIA T4或V100 GPU的服务器将针对运行NVIDIA CUDA-X AI加入函式库进行最佳化，能提供企业级服务器AI与数据分析强大的实用性与多元性。NGC-Ready验证包含经测试的AI与高效能运算软件，NGC提供多种GPU加速软件、预先训练好的AI模块、数据分析模块训练、机器学习、深度学习和以CUDA-X AI加速的高效能运算，确保认证的服务器能够轻松胜任由Tensor核心所组成的所有加速工作负载。

NGC-Ready验证计划囊括采用含有Tensor核心与NVIDIA GPU的系统，是进行各种AI工作的理想选择，而这也适用于边缘运算解决方案。NVIDIA Edge Stack为经验证的服务器进行最佳化，且能够在NVIDIA NGC登入系统下载。希望部署边缘或是云端运算的企业能透过连结至AWS Greengrass或微软Azure IoT云端平台，轻松根据所需的运算任务达到规模化。