中文繁體版   English   星期三 ,7月 17日, 2019 (台北)
登入  申请试用  MY DIGITIMES236
 
汇明
活动+

Imagination:以单阶段神经网络实现嵌入式物件侦测应用

  • 吴冠仪

近年来,随著基于深度学习的计算机视觉技术快速发展,影像分类与物件侦测(object detection)应用获得了显著的进展。然而,若要把准确的物件侦测功能带到各种嵌入式装置上,同时还要兼顾运算成本、效能与功率需求,仍有许多挑战与设计折衷需要克服。

对此,Imagination公司视觉与AI业务开发总监Paul Brasnett说明了物件侦测算法的最新进展、如何利用最佳化技巧使其能在嵌入式产品中高效地运行,以及Imagination将如何以最新的神经网络加速器(NNA)系列产品来满足此市场需求。

物件侦测的各种使用案例

首先,Paul Brasnett介绍说,Imagination是GPU IP的领导厂商,其PowerVR GPU系列产品已在市场上占有一席之地,并累积了100亿台装置出货量的实绩。此外,该公司亦可提供视觉与AI、以及通讯IP解决方案。

特别是,因应近来AI应用的快速发展,Imagination已于2017年底推出新的神经网络加速器(NNA)系列产品,透过硬件加速的方式来执行神经网络算法,并强调GPU+NNA架构的结合将能为AI提供最佳的效能、成本与功率组合。针对新的PowerVR 视觉与AI系列产品,Imagination将持续建构并强化其软件、硬件与生态系统,以因应不断演进的市场需求。

他表示,包括IoT、行动、汽车、工业、智能监控等各种应用都朝嵌入式智能应用进展,需要以低功耗实现各种的辨识、追踪、分析、预警功能。而在智慧城市与车载电子驾驶座舱(e-cockpit)中,物件侦测扮演著非常重要的角色。

举例来说,在各种智慧城市应用中,包括确保办公、公共场所安全所需的脸部辨识、交通流量监控、 可疑活动/人物监控等各种应用,都需要用到物件侦测技术。此外,电子驾驶座舱中的车道偏离警示、环景影像、后视镜替代、道路标志辨识等各种新功能,高效、准确的物件侦测也是不可或缺的。

物件侦测网络模型介绍

Paul Brasnett表示,目前物件侦测网络模型主要分为两阶段(two stage)和单阶段(single stage)网络两种做法。

其中,两阶段网络方式大概是从2015年开始发展,近来已逐步扩展为包含Faster R-CNN (Regions with CNN)、R-FCN (Fully Convolutional Network)、和Mask R-CNN等不同模型,而且每一种方式都还在持续演进。

而单阶段网络则有Yolo(you only look once)、单次侦测(Single Shot Detection;SSD)、以及RetinaNet等不同模型。其中,SSD为Google所发展的,获得了广泛的关注。同样地,为了取得更好效能,所有算法都还在不断的发展,学界与业界都投入了庞大的研发能量。

首先,针对Faster R-CNN,Paul Brasnett介绍说,它的基本概念是把所有传感器撷取到的特征先进行Regional Proposal Network来筛选区域,再将结果馈入序列处理,执行Pooling、Warp等non-maximum suppression运算,其结果再进行分类,以判断出结果。

在整个运算过程中,特征撷取器(Feature Extractor)与区域筛选网络、以及分类都是属于卷积神经网络,由于涉及到两个卷积神经网络运算,因此称为两阶段网络。

至于单阶段网络,以SSD为例,是指省略了Regional Proposal Network,把特征撷取器的结果直接进行分类,再进行non-maximum suppression运算,由于只需用到一个卷积神经网络,所以称为单阶段网络。Yolo算法也是采取类似的概念。

这两种方式各有其优缺点,当然,单阶段网络拥有快速、执行时间确定、以及采用单纯的端到端卷积网络的优点,然而,在侦测小型物件时,它不一定能取得最佳的效能。

相对的,两阶段网络的优点在于,具备较高的准确度、侦测小型物件的效能较佳。但是,它的执行时间不确定,需取决于场景环境,而且运算流程复杂,并不适用于嵌入式应用。

嵌入式物件侦测应用的最佳化

针对嵌入式视觉应用,开发人员必须在成本、运算能力、带宽以及功率间取得平衡,这也是最主要的挑战。显然,单阶段网络是嵌入式应用的理想选择,但必须再采用其它技巧来了提升其准确度,以达到最佳化的结果。

Paul Brasnett表示,特征撷取器与特征金字塔网络(Feature Pyramid Network;FPN)是两个可用来最佳化SSD的方法。

根据利用PowerVR NNA实际进行测试的结果显示,采用不同的特征撷取器会对VGG16、ResNet 50和MobileNet v1等网络的带宽、推论速度、以及准确度带来不同的结果。因此,他提醒开发人员,在实际开发时,应视其所需的效能规格进行谨慎的选择。

至于提升小型物件侦测的准确度,场景内容是很重要的。透过使用多层级FPN架构在撷取高分辨率资料前与低分辨率资料结合,经过实际测试,此技巧确实能够显著提升准确度。

以PowerVR NNA实现物件侦测应用

由于各种神经网络模型的快速发展,NNA现已成为一种基本的处理器类型,与CPU和GPU一样重要。Paul Brasnett表示,透过集成PowerVR NNA,开发人员能以非常低的功耗、最小的矽晶面积提供神经网络所需的高效能运算。藉由在边缘装置提供此运算能力,才能克服带宽、延迟与隐私的限制,真正实现从边缘到云端的智能应用。

Imagination最新一代的PowerVR Series3NX NNA系列产品具备可扩展性架构,透过多核心建置,最高可达到汽车与高阶监控装置所需的 160 TOPS的运算效能,以为最严苛的应用提供超高效能,并满足嵌入式市场多样化的应用需求。

由于各种的物件侦测演算化还在不断演进,因此对于NNA或GPU来说,提供灵活的可编程支持能力是很重要的。透过使用Imagination的专用深度神经网络(DNN)API,开发人员可以轻松地针对Series3NX架构以及现有PowerVR GPU编写人工智能应用程序。

Paul Brasnett表示,Imagination将专注为各种嵌入式装置实现高效的物件侦测功能,因此将聚焦于单一网络技术的最佳化效能,并强化NNA产品对最新算法的支持。