理大学者研发光电梯级神经元 提升人工视觉动态感知功能

香港理工大学(理大)最新一项研究，从飞行昆虫的微小而复杂的视觉系统得到启发，制备了「光电梯级神经元」(Optoelectronic Graded Neurons)，成功提升人工视觉感知动态识别率，从而增强人工视觉传感器的功能。

人类的视觉系统可以在日常生活中处理复杂的动态视觉信息，例如在过马路时迅速识别汽车、行人、单车和其他物件的移动情况，才可避免发生交通事故或意外。然而，飞行昆虫(例如果蝇)的视觉系统则具有较强的「闪烁融合频率」(FFF)，能够感知高速运动的物体，例如在闪避人类的拍打时反应十分敏捷。

在人工视觉系统方面，应用现有的传统图像(静态)传感器来侦测动作，须处理包含时间和空间的动态信息(合称「时空信息」)，涉及复杂的神经网络和计算过程。

今次由理大理学院副院长、应用物理学系柴扬教授带领的研究团队，制备仿生昆虫视觉系统的「光电梯级神经元」(Optoelectronic Graded Neurons)，可以在感知终端执行高信息传输速率(>1000bit/s)，并融合「时空信息」。重要的是：这项研究成果能以较少的硬件资源，实现更敏捷的视觉感知，拓展了传统视觉传感器前所未有的功能。

柴扬教授表示︰「这项研究从根本上加深了我们对生物启发计算的理解，所衍生的技术亦极具应用潜力。例如自动驾驶车辆需要识别交通道路中的高速运动，监测系统亦适用。」

仿生感知及计算动态变化 融合时间和空间信息

理大研究以「光电梯级神经元实现动态视觉信息的仿生感知和计算」为题，已刊登于《自然-纳米技术 》(Nature Nanotechnology，2023年4月20日)，乃聚焦「融合感知计算」(in-sensor computing)。

要识别迅速的动态，需要融合「时空信息」并传输到处理器，是对计算资源要求极大的挑战。人工视觉系统通常由图像传感器和处理器组成。目前大多数传感器只能输出含「空间信息」的「帧」(frame，即记录动态影像画面的单位)而无法融合「时间信息」。

研究团队在此之前已实现了针对静态图像的对比度增强及不同光强背景的视觉适应，仿生动态感知的研究成果正是建立在此基础之上。

柴扬教授提到︰「我们多年来潜心研究人工视觉。以往，传感器阵列只用于感知不同环境中的静态图像并增强其特徵，我们希望研究可进一步利用作动态感知，然而传感终端无法负担复杂的硬件。于是我们的研究方向另辟新径：聚焦能够敏捷感知动态的微小视觉系统，借监于飞行昆虫。」

飞行昆虫(例如果蝇)仅依赖微小的视觉系统，但每侧复眼已有大约780只小眼，能够比人类更快、更敏捷地感知移动中的物体。具体而言，在昆虫的视觉系统中，其视网膜(传感器)和大脑(计算器)之间的信号传输距离比较短，而且昆虫视觉系统是由「非尖峰梯级神经元」组成，其信息传输速率比人类视觉系统中的「尖峰神经元」高得多。

基本上，「梯级神经元」能有效地编码时间信息，从而减少了计算器中融合「时空信息」所需的大量视觉数据传输。研究团队从中得到启发，研发了「仿生的光电梯级神经元」。

精准的动态感知识别 促使人工视觉应用更广

精准的动态识别对于自动驾驶系统和监视系统等应用至关重要。研究发现：利用含浅缺陷能级的二硫化钼光晶体管管，模仿飞行昆虫视觉系统中梯级神经元的响应特性，在光照刺激下，可以实现高达1200 bit/s 的传递速率。

通过融合及编码「时空信息」并压缩图像到人工神经网络，动作识别准确率达到99.2%，远高于传统图像传感器的50%准确率。

这项研究克服了动态感知信息计算上大量能耗和时耗等硬件资源限制的难题，研发出最新的「光电梯级神经元」，实现了人工视觉感知系统的「时空信息」融合，并有效检测到视野中的运动轮廓及轨迹，也就是将动态视觉信息的处理转化为更加高效的方式，可应用于更多领域，除了上述的自动驾驶系统和监控系统，还可包括：无人机、移动机器人、自动驾驶汽车、物联网和自动化生产等等。

从昆虫视觉系统的敏捷运动感知中汲取灵感，理大这项研究以创新智能的方式实现了整合静态和动态运动的传输速率和处理，带来显着进展，在人工视觉系统领域创建了里程碑。

关于研究团队

上述的仿生「光电梯级神经元」之动态感知及计算，是由香港理工大学、国内北京大学及韩国延世大学的科学家合作取得的科研突破。该研究成果已发表在国际期刊《自然-纳米技术 》(Nature Nanotechnology)。