近年来，随著基于深度学习的计算机视觉技术快速发展，影像分类与物件侦测(object detection)应用获得了显著的进展。然而，若要把准确的物件侦测功能带到各种嵌入式装置上，同时还要兼顾运算成本、效能与功率需求，仍有许多挑战与设计折衷需要克服。

对此，Imagination公司视觉与AI业务开发总监Paul Brasnett说明了物件侦测算法的最新进展、如何利用最佳化技巧使其能在嵌入式产品中高效地运行，以及Imagination将如何以最新的神经网络加速器(NNA)系列产品来满足此市场需求。

物件侦测的各种使用案例

首先，Paul Brasnett介绍说，Imagination是GPU IP的领导厂商，其PowerVR GPU系列产品已在市场上占有一席之地，并累积了100亿台装置出货量的实绩。此外，该公司亦可提供视觉与AI、以及通讯IP解决方案。

特别是，因应近来AI应用的快速发展，Imagination已于2017年底推出新的神经网络加速器(NNA)系列产品，透过硬件加速的方式来执行神经网络算法，并强调GPU+NNA架构的结合将能为AI提供最佳的效能、成本与功率组合。针对新的PowerVR 视觉与AI系列产品，Imagination将持续建构并强化其软件、硬件与生态系统，以因应不断演进的市场需求。

他表示，包括IoT、行动、汽车、工业、智能监控等各种应用都朝嵌入式智能应用进展，需要以低功耗实现各种的辨识、追踪、分析、预警功能。而在智慧城市与车载电子驾驶座舱(e-cockpit)中，物件侦测扮演著非常重要的角色。

举例来说，在各种智慧城市应用中，包括确保办公、公共场所安全所需的脸部辨识、交通流量监控、 可疑活动／人物监控等各种应用，都需要用到物件侦测技术。此外，电子驾驶座舱中的车道偏离警示、环景影像、后视镜替代、道路标志辨识等各种新功能，高效、准确的物件侦测也是不可或缺的。

物件侦测网络模型介绍

Paul Brasnett表示，目前物件侦测网络模型主要分为两阶段(two stage)和单阶段(single stage)网络两种做法。

其中，两阶段网络方式大概是从2015年开始发展，近来已逐步扩展为包含Faster R-CNN (Regions with CNN)、R-FCN (Fully Convolutional Network)、和Mask R-CNN等不同模型，而且每一种方式都还在持续演进。

而单阶段网络则有Yolo(you only look once)、单次侦测(Single Shot Detection；SSD)、以及RetinaNet等不同模型。其中，SSD为Google所发展的，获得了广泛的关注。同样地，为了取得更好效能，所有算法都还在不断的发展，学界与业界都投入了庞大的研发能量。

首先，针对Faster R-CNN，Paul Brasnett介绍说，它的基本概念是把所有传感器撷取到的特征先进行Regional Proposal Network来筛选区域，再将结果馈入序列处理，执行Pooling、Warp等non-maximum suppression运算，其结果再进行分类，以判断出结果。

在整个运算过程中，特征撷取器(Feature Extractor)与区域筛选网络、以及分类都是属于卷积神经网络，由于涉及到两个卷积神经网络运算，因此称为两阶段网络。

至于单阶段网络，以SSD为例，是指省略了Regional Proposal Network，把特征撷取器的结果直接进行分类，再进行non-maximum suppression运算，由于只需用到一个卷积神经网络，所以称为单阶段网络。Yolo算法也是采取类似的概念。

这两种方式各有其优缺点，当然，单阶段网络拥有快速、执行时间确定、以及采用单纯的端到端卷积网络的优点，然而，在侦测小型物件时，它不一定能取得最佳的效能。

相对的，两阶段网络的优点在于，具备较高的准确度、侦测小型物件的效能较佳。但是，它的执行时间不确定，需取决于场景环境，而且运算流程复杂，并不适用于嵌入式应用。

嵌入式物件侦测应用的最佳化

针对嵌入式视觉应用，开发人员必须在成本、运算能力、带宽以及功率间取得平衡，这也是最主要的挑战。显然，单阶段网络是嵌入式应用的理想选择，但必须再采用其它技巧来了提升其准确度，以达到最佳化的结果。

Paul Brasnett表示，特征撷取器与特征金字塔网络(Feature Pyramid Network；FPN)是两个可用来最佳化SSD的方法。

根据利用PowerVR NNA实际进行测试的结果显示，采用不同的特征撷取器会对VGG16、ResNet 50和MobileNet v1等网络的带宽、推论速度、以及准确度带来不同的结果。因此，他提醒开发人员，在实际开发时，应视其所需的效能规格进行谨慎的选择。

至于提升小型物件侦测的准确度，场景内容是很重要的。透过使用多层级FPN架构在撷取高分辨率资料前与低分辨率资料结合，经过实际测试，此技巧确实能够显著提升准确度。

以PowerVR NNA实现物件侦测应用

由于各种神经网络模型的快速发展，NNA现已成为一种基本的处理器类型，与CPU和GPU一样重要。Paul Brasnett表示，透过集成PowerVR NNA，开发人员能以非常低的功耗、最小的矽晶面积提供神经网络所需的高效能运算。藉由在边缘装置提供此运算能力，才能克服带宽、延迟与隐私的限制，真正实现从边缘到云端的智能应用。

Imagination最新一代的PowerVR Series3NX NNA系列产品具备可扩展性架构，透过多核心建置，最高可达到汽车与高阶监控装置所需的 160 TOPS的运算效能，以为最严苛的应用提供超高效能，并满足嵌入式市场多样化的应用需求。

由于各种的物件侦测演算化还在不断演进，因此对于NNA或GPU来说，提供灵活的可编程支持能力是很重要的。透过使用Imagination的专用深度神经网络(DNN)API，开发人员可以轻松地针对Series3NX架构以及现有PowerVR GPU编写人工智能应用程序。

Paul Brasnett表示，Imagination将专注为各种嵌入式装置实现高效的物件侦测功能，因此将聚焦于单一网络技术的最佳化效能，并强化NNA产品对最新算法的支持。