AIoT浪潮席卷全球 Edge AI芯片设计思维大不同

交通大学信息工程系教授暨人工智能系统检测中心主任陈添福。

全球知名商情分析刊物「哈佛商业评论」在今年7月号的主题是「你的公司够AI吗？」由此一报导中可看出AI已被视为企业未来的核心竞争力。观察AI近年来的发展轨迹，交通大学信息工程系教授暨人工智能系统检测中心主任陈添福表示，在AI与物联网结合的AIoT架构中，边缘运算将成为重要设计，而由于终端设备与上层云端平台的功能需求大不相同，要能让边缘运算的性能与成本最佳化，其系统芯片就必须针对其环境与架构进行优化，而目前各大芯片厂商也都已提出对应产品。

陈添福指出，现在企业的AIoT架构是先在底层布建传感器，用以侦测设备或环境状态，再将数据传送到上层平台累积为大数据，并透过AI运算分析，达到智能化愿景。不过此一运作机制仍需克服重重困难，在底层部分，系统团队必须解决现场端数据的取得、传感器的布建、数据取样的类型与数量等问题；上层云端则要思考如何从数据撷取特徵？AI的推论如何在现场落地？对以ROI为首要考量的企业来说，这些旷日废时的工作将有可能在未建置前就先拖垮企业效益与获利，因此陈添福指出，要让AIoT的效益快速而有效的浮现，Edge AI将是必要设计。

从架构面来看，AIoT与Edge AI系统目前会面临几个挑战：在终端节点部分，国内仍缺少关键技术，而且AI系统软件未臻健全，无法因应IC设计所需；终端伺服方面则是AI系统人才极度缺乏，难以组成即战力团队，另外厂商在系统整合与垂直分工的能力也有待提升；至于最上层的云端伺服，厂商的数据掌握量不够，同时也缺乏大型成功范例，难以抢到应用主导权。陈添福进一步举例说，就如政府面临5缺问题(缺水、缺电、缺工、缺地、缺人才)，台湾要发展AIoT，企业本身也要克服5缺问题(缺人才、缺数据、缺关键AI模式、缺有价值的数据特徵、缺终端系统整合等)，这些问题都是多面向且麻烦但需要同时解决，方能有效建构各公司自己的产业智能。

除了政府与企业外，芯片厂商则需要克服的难题则有3大面向，陈添福指出，现在市场的AI芯片有3大趋势，首先是必须具备超高运算能力，其次是因应多应用面向所需的多样化运算架构搭配，最后为持续运作所需的低功耗设计，而这3大需求都必须汇整在单一芯片上，以提高整合度并降低成本。

应用面向不同，Edge AI架构多元

再就AI的神经网络架构来看，在各学术机构与企业的大力投入下，现在各种AI模型快速浮现，以更小的运算量达到更高精度的结果，此一发展让AI模型更容易应用于嵌入式系统与边缘运算架构中。而运算芯片架构方面，陈添福指出，因应市场需求，目前各芯片厂商的主要架构共分4种，包括CPU+GPU、CPU+AI加速器、CPU+DSP+GPU、CPU+GPU+AI加速器。

这4种架构都以CPU为主，再透过不同的通讯标准如PCI-E、USB等链结，而不同架构也有各自的优劣势，CPU+GPU可满足系统的效能与弹性需求，只是耗电高，且处理前必须将数据传送至VRAM，运作架构较为复杂。CPU+AI加速器适于机器学习，但是其应用领域有一定限制，且需要编译器处理数据。CPU+DSP+GPU组合的优势，是每一元件都可在多个应用程序中使用，不过须以DSP做为控制。至于CPU+GPU+AI加速器则在机器学习应用的效益极佳，但NPU也仅局限于机器学习应用，且GPU与NPU必须先行规划，才可同时使用。

除了硬件产品外，各芯片厂商为使AI演算法可从训练模式顺利在推论端使用，也推出了各种软件工具，像是NVIDIA的TensorRT、Intel的OpenVino、Qualcomm的Neural Processing Engine与Android阵营的Neural Networks API，对于这些软件工具，陈添福指出，各种AI模型的架构与目标不同，因此设计者必须慎选合适工具，为此交大也在近期成立了AI系统检测中心，协助企业优化AI系统，使其可落地实现。

交大的AI系统检测中心共提供了4项服务，包括AI量测与调校服务、系统软硬件产品的测试评比与分析技术报告、自动参数调校与线上超参数建议、AI模型优化与系统实现方案，透过这些服务，企业将可缩短开发时程，并让研发成果更贴近实际应用，以有限资源打造出最佳化AI系统。