智能应用 影音
邓白氏
荣耀会员

科幻片中的理想AR眼镜 Meta科学长:既有运算架构尚难实现

Meta Reality Labs科学长Michael Abrash月前发表演讲时不讳言,要实现科幻电影中增实境(AR)眼镜的概念产品,现有运算架构必须要有较大幅度的进展。

Meta Reality Labs科学长Michael Abrash表示,要让AR无所不在,需要一系列更激进的技术改良、精进,无论是在硬件或是软件端。法新社

Road to VR引述Abrash说法报导,尽管目前市场上已有多款所谓的「AR」头戴式装置产品,但还没有一款能够做到一般眼镜的类似设计、特别是在体积方面。现市场上表现较佳的AR装置以微软(Microsoft)HoloLens、Magic Leap 2为首,仍较似于眼罩而非眼镜,无论重量或舒适度都无法用上一整天。

Abrash认为,要让AR无所不在,那首要就是打造出眼镜外观一般的装置、能够撑上一整天的电池容量、以及令人惊艳的AR体验必要功能;为此,将需要一系列更激进的技术改良、精进,甚至某种程度的典范改革,无论是硬件或是软件端。

这也意谓着,至少Meta不认为既有技术足以支持理想中的AR眼镜装置;但至少该朝那些技术精进已有了较明确方向。其中最关键、最需要改进的技术,就是如何大幅降低电力消耗,以满足电池续航力需求,同时减少发热。这需要对电池进行系统级的深度反思,从硬件到软件进行端到端的协同设计。

要实现科幻电影使用自如的AR眼镜,现有运算架构及软硬件开发都得再加把劲。法新社

能耗最高的运算作业主要在于数据传输,不仅是无线数据传输,就连装置内部不同芯片间的数据传输也相当耗电;其中存储器耗电量占比最高,以手势追踪技术为例,SRAM+DRAM的能耗占比高达54%,运算(compute)为35%,而互连(interconnect)则为11%;同时定位与地图建构(SLAM)来看,SRAM+DRAM能耗占比更高达78%,运算为19%,互连更仅为3%。

因此,要降低能耗的关键之一将在于如何尽可能减少数据传输;为此,需要开发出一种新的运算架构,在整个系统中分散配置运算作业,而不是在集中式运算中心间混合处理大量数据,以最大限度减少耗电的数据传输。

而这样的分散式运算架构可由AR装置上多个镜头开始着手,藉由镜头本身内建的传感器进行初步运算处理,排除所有不必要信息、最终将关键的数据信息传送出去,最大程度降低数据传输必要。为此,硬件在设计时就必须考量与镜头传感器连接的特定演算法,以让数据进行传输前先在传感器本身上进行初步处理。

Reality Labs已开始着手解决上述挑战,并已开发出专为AR眼镜设计的低能耗、高性能,且能进行初步数据运算的镜头传感器,使用一组所谓的数码像素传感器,可同时在三个不同等级光源下捕捉每个像素上的数码光值并进行储存,并决定最终传输哪一个,而非全数上传。如此一来,不仅减少数据传输的能耗,同时也大幅增加了传感器的动态范围(可同时捕捉昏暗和明亮光源)。

Meta希望也能将深度神经网络(deep neural network)导入传感器,用于眼球和手势追踪,但Abrash认为,这在硬件进一步创新前不太可能发生,例如研发出传感器上机器学习(ML)运算所需的超高密度、低能耗存储器。这不能仅靠单一家公司,而是需要整个产业团结起来才能够大规模实现;特别是AR眼镜关键元素之一的磁性存储器(MRAM)必须要半导体业者的鼎力相助。


  •     按赞加入DIGITIMES智能应用粉丝团
更多关键字报导: AR眼镜 传感器 AR Meta