D Forum 2019
Advantechline
 

NVIDIA因应GPU运算需求 将AI推论解决方案拓展至各个产业

NVIDIA EGX 边缘堆叠示意。

全球在云端运算领域找寻人工智能(AI)全新利基市场的发展机会,近年来陷入了成长停滞,而NVIDIA希望进一步提升产业层级并在未来几年加速改变产业的样貌。AI的企业应用趋势正在崛起,并且正在形塑从云端到边缘的全新市场。

云端服务业者与企业界认知到AI系统会带来营运效能提升、改善消费者体验并创造新产品服务等优势之后,开始转而投注资源在AI推论的应用,以创造最大化的利润与营收,今天AI推论的应用常见于搜索引擎,或是Netflix的影片推荐,以及Alexa智能语音助理,其它诸如像在智能流程自动化、网上购物顾问与产品推荐及新药开发等使用案例上,都出现了强劲的成长。

 点击图片放大观看

NVIDIA EGX 运算平台Nano至T4效能比较图。

NVIDIA宣布推出两个专为AI运算而打造的主流服务器产品,包括用于资料中心AI运算的服务器,与搭载NVIDIA GPU及软件的边缘服务器。

这次在COMPUTEX 2019期间特别专访NVIDIA产品营销总监Paresh Kharya,分享NVIDIA近期在云端与边缘运算领域的产品布局,以及如何把握AI推论市场所创造的无穷商机。

他长期与客户及生态系伙伴共同合作,为AI领域发展多样化的智能型解决方案,提供以NVIDIA AI与深度学习技术打造的端到端解决方案。同时,NVIDIA也与云端平台巨擘如Amazon AWS和微软Azure紧密合作,集成其技术与软件堆叠,助力开发者运用云端与边缘的机器学习加速运算。

NVIDIA T4 GPU推动企业服务器解决大规模运算难题

现今全球的AI应用与投资仍持续走扬,有一个很大的发展重点是AI推论芯片的多头发展态势,以NVIDIA本身推出NVIDIA T4 GPU为例,AI推论在云端服务的投资上愈来愈显著,一些以CPU为主的AI推论芯片也应运而生。

Kharya表示,与CPU AI推论芯片相比,NVIDIA T4 GPU在效能上足足超出约40倍之多,而且与不同深度学习框架所发展的AI推论比较,在自然语言辨识的效能中NVIDIA GPU的领先幅度更为突出。

以NVIDIA T4 GPU驱动的企业级服务器透过Turing架构执行CUDA-X AI应用软件加速函式库,能大幅提升效能,协助企业掌握先机,其中包括AI的应用、机器学习、资料分析与虚拟化桌面技术。NVIDIA T4 GPU是专为资料中心所打造,并且只需要70瓦的耗能即可运行。

目前NVIDIA T4 GPU企业级服务器已经从早期的服务器品牌大厂率先投入,发展至今已有超过30家OEM/ODM 大厂一起共襄盛举。NVIDIA T4能为主流的企业服务器提升运算效率。

然而,它并非如先前所推出象是NVIDIA V100这类较大型且更加强大的GPU之替代品是专为AI训练和高效能运算、特定领域的垂直式扩展服务器所打造,而是在极低耗能、低价位的前提下却拥有优秀的效能表现,这将有助加速AI应用的部署,比过去的机器学习训练模型更有效率,其中热门的应用领域包括AI客户支持与服务、网络安全、智能零售与制造。

NVIDIA EGX平台驱动低延迟AI边缘运算

随著数十亿来自企业的IoT装置传感器每天产生超大量的资料,需要分析这些资料进而产出商业洞察的需求也随之强劲,Kharya表示,为了让这些资料对商业决策带来最大效益,这些资料必须透过AI实时处理。

边缘运算可让由传感器装置所产生的资料在接近传感器时就被处理,而不需要传回云端。边缘运算能够补足云端运算,让客户能够在网络联机差或甚至断线的状况下也能进行AI运算。

随著边缘运算技术的快速发展,NVIDIA为满足如智能制造机台或自驾车等需要实时回应的AI应用,推出低延迟、高效能的边缘运算平台NVIDIA EGX,赋予终端装置实时回应的能力。Kharya强调,像EGX平台这样的边缘服务器将被在全球被大量部署,能够实时处理来自于传感器的庞大资料。

NVIDIA EGX平台的微型服务器是由Jetson Nano GPU 芯片打造而成,消耗功率只有区区几瓦,非常省电,具备每秒五万亿兆次浮点运算(TOPS)的效能,可用于处理象是影像辨识这类的任务。

Kharya现场展示的参考设计主板可以连接8个摄影镜头,做为智能交通号志与管理解决方案之用。随著需要更加强大效能的各种应用需求,EGX可以透过组合大量的NVIDIA T4企业服务器机柜,提供高达10,000兆次浮点运算的效能以符合大型AI实时运算的任务。

为了简化在分散式服务器AI应用的管理,NVIDIA推出企业级软件 Edge Stack软件套件,这是一套提供建构于容器应用管理的最佳化软件,包括驱动程序、CUDA Kubernetes的外挂程序、CUDA容器执行、CUDA-X函式库,另外也提供容器化AI框架与应用,如TensorRT、TensorRT推论服务器与DeepStream软件。NVIDIA也与Red Hat合作,将NVIDIA Edge Stack与OpenShift进行集成并优化。

推广NGC-ready的服务器验证计画

NVIDIA的T4 GPU企业服务器需要具备执行最佳化NVIDIA CUDA-X AI加速程序库的能力,让企业界可以提供多样化与效能卓著的优异服务。NVIDIA为了协助企业打造符合最高要求的服务器,以NVIDIA GPU的强大系统部署GPU加速软件,NVIDIA提供NGC-ready的服务器验证计画。

透过此计画,搭载NVIDIA T4或V100 GPU的服务器将针对运行NVIDIA CUDA-X AI加入函式库进行最佳化,能提供企业级服务器AI与资料分析强大的实用性与多元性。NGC-Ready验证包含经测试的AI与高效能运算软件,NGC提供多种GPU加速软件、预先训练好的AI模块、资料分析模块训练、机器学习、深度学习和以CUDA-X AI加速的高效能运算,确保认证的服务器能够轻松胜任由Tensor核心所组成的所有加速工作负载。

NGC-Ready验证计画囊括采用含有Tensor核心与NVIDIA GPU的系统,是进行各种AI工作的理想选择,而这也适用于边缘运算解决方案。NVIDIA Edge Stack为经验证的服务器进行最佳化,且能够在NVIDIA NGC登入系统下载。希望部署边缘或是云端运算的企业能透过连结至AWS Greengrass或微软Azure IoT云端平台,轻松根据所需的运算任务达到规模化。


  •     按赞加入DIGITIMES智能应用粉丝团
更多关键字报导: NVIDIA GPU运算 GPU 人工智能 边缘运算