智能应用 影音

AIoT浪潮席卷全球 Edge AI芯片设计思维大不同

2019/10/31 - DIGITIMES企划

全球知名商情分析刊物「哈佛商业评论」在今年7月号的主题是「你的公司够AI吗?」由此一报导中可看出AI已被视为企业未来的核心竞争力。观察AI近年来的发展轨迹,交通大学信息工程系教授暨人工智能系统检测中心主任陈添福表示,在AI与物联网结合的AIoT架构中,边缘运算将成为重要设计,而由于终端设备与上层云端平台的功能需求大不相同,要能让边缘运算的性能与成本最佳化,其系统芯片就必须针对其环境与架构进行优化,而目前各大芯片厂商也都已提出对应产品。

陈添福指出,现在企业的AIoT架构是先在底层布建传感器,用以侦测设备或环境状态,再将数据传送到上层平台累积为大数据,并透过AI运算分析,达到智能化愿景。不过此一运作机制仍需克服重重困难,在底层部分,系统团队必须解决现场端数据的取得、传感器的布建、数据取样的类型与数量等问题;上层云端则要思考如何从数据撷取特徵?AI的推论如何在现场落地?对以ROI为首要考量的企业来说,这些旷日废时的工作将有可能在未建置前就先拖垮企业效益与获利,因此陈添福指出,要让AIoT的效益快速而有效的浮现,Edge AI将是必要设计。

从架构面来看,AIoT与Edge AI系统目前会面临几个挑战:在终端节点部分,国内仍缺少关键技术,而且AI系统软件未臻健全,无法因应IC设计所需;终端伺服方面则是AI系统人才极度缺乏,难以组成即战力团队,另外厂商在系统整合与垂直分工的能力也有待提升;至于最上层的云端伺服,厂商的数据掌握量不够,同时也缺乏大型成功范例,难以抢到应用主导权。陈添福进一步举例说,就如政府面临5缺问题(缺水、缺电、缺工、缺地、缺人才),台湾要发展AIoT,企业本身也要克服5缺问题(缺人才、缺数据、缺关键AI模式、缺有价值的数据特徵、缺终端系统整合等),这些问题都是多面向且麻烦但需要同时解决,方能有效建构各公司自己的产业智能。

除了政府与企业外,芯片厂商则需要克服的难题则有3大面向,陈添福指出,现在市场的AI芯片有3大趋势,首先是必须具备超高运算能力,其次是因应多应用面向所需的多样化运算架构搭配,最后为持续运作所需的低功耗设计,而这3大需求都必须汇整在单一芯片上,以提高整合度并降低成本。

应用面向不同,Edge AI架构多元

再就AI的神经网络架构来看,在各学术机构与企业的大力投入下,现在各种AI模型快速浮现,以更小的运算量达到更高精度的结果,此一发展让AI模型更容易应用于嵌入式系统与边缘运算架构中。而运算芯片架构方面,陈添福指出,因应市场需求,目前各芯片厂商的主要架构共分4种,包括CPU+GPU、CPU+AI加速器、CPU+DSP+GPU、CPU+GPU+AI加速器。

这4种架构都以CPU为主,再透过不同的通讯标准如PCI-E、USB等链结,而不同架构也有各自的优劣势,CPU+GPU可满足系统的效能与弹性需求,只是耗电高,且处理前必须将数据传送至VRAM,运作架构较为复杂。CPU+AI加速器适于机器学习,但是其应用领域有一定限制,且需要编译器处理数据。CPU+DSP+GPU组合的优势,是每一元件都可在多个应用程序中使用,不过须以DSP做为控制。至于CPU+GPU+AI加速器则在机器学习应用的效益极佳,但NPU也仅局限于机器学习应用,且GPU与NPU必须先行规划,才可同时使用。

除了硬件产品外,各芯片厂商为使AI演算法可从训练模式顺利在推论端使用,也推出了各种软件工具,像是NVIDIA的TensorRT、Intel的OpenVino、Qualcomm的Neural Processing Engine与Android阵营的Neural Networks API,对于这些软件工具,陈添福指出,各种AI模型的架构与目标不同,因此设计者必须慎选合适工具,为此交大也在近期成立了AI系统检测中心,协助企业优化AI系统,使其可落地实现。

交大的AI系统检测中心共提供了4项服务,包括AI量测与调校服务、系统软硬件产品的测试评比与分析技术报告、自动参数调校与线上超参数建议、AI模型优化与系统实现方案,透过这些服务,企业将可缩短开发时程,并让研发成果更贴近实际应用,以有限资源打造出最佳化AI系统。


图说:交通大学信息工程系教授暨人工智能系统检测中心主任陈添福。