ARM具可扩充性的机器学习解决方案 适用于多样化应用

ARM Project Trillium平台

身为AI核心赋能技术的机器学习(ML)，已经由能识别猫咪图片的实验，快速延伸至能解决健康照护、食品生产、汽车与零售业等实际问题。从物联网终端到服务器，鲜少有产业或是装置，能够不受其影响。不过，在云端密集运算不是长期理想的解决方案，大量数据从云端来回传送所需的电力与成本，以及明显的回应延迟，往往令人却步，这对于时间要求严格的应用是无法容忍的。

今日ML演算法的精进，已经把应用、训练与推论由云端往下延伸，越来越多的工作负载也已经改由边缘的终端装置执行，除了有助于降低成本与提升效率，限制敏感性数据在云端与装置间的来回传送次数，亦可将数据安全性极大化。

ARM Project Trillium平台提供横跨各个产业与装置的转换运算的能力，它是针对ML唯一完整、异质的运算平台，可以和所有可程序化的ARM矽智财兼容。此一架构未来的衍生产品，将从提供物联网与常时启动装置的每秒2亿次运算(2 GOPs)起，扩大至服务器类型应用所需的每秒250万亿次运算(25 TOPs)，可提供适用于所有应用需求的弹性与可扩充性。

ARM Cortex CPUs与Mali GPUs已经在多种装置上大量生产，并具有许多可以增强ML效能的专属功能：

1. Cortex-A76 CPU与前一代处理器相比，提供4倍的ML效能

2. Mali-G76 GPU与前一代处理器相比，效能增加3倍。

ARM Ethos神经网络处理器(NPU)从云端、边缘到端点，为ML推论的最低环节提供最高的通量与效率。此一系列单一核心的效能，每秒最高可以达到4万亿次、2万亿次或1万亿次运算，并具有多核扩充性，可以在丛集内最多支持八个NPU，以及透过网状系统最多支持64个NPU。ARM Project Trillium平台包含 ARM 类神经网络(ARM NN)，这是针对高效转译既有神经网络的软件框架，以支持横跨所有ARM可程序化矽智财的ML工作负载。

这套软件同时透过运算程序库(Compute Library)对ARM Cortex-A CPU、ARM Mali GPU与ML处理器提供支持，以及透过CMSIS-NN对Cortex-M CPU提供支持。随着在多元主流市场部署ML的需求日增，ARM的AI解决方案具有足够的弹性与可扩充性，几乎可以满足所有需求或使用案例。

无论专注在提升效能，或是想使成本极小化，欢迎即刻报名4月14日举办的「从云端到终端 人工智能的新时代」在线研讨会，以了解ARM最新推出的ML解决方案。参考更多ARM ML使用案例与技术文件下载，请造访我们。