智能应用 影音
DTResearch
DForum

Facebook AR/VR手势追踪技术 打造近乎真实虚拟键盘

FRL开发新手势追踪系统技术,使用手部动作做为输入媒介,并将手指动作直接解码为要键入的文字。FRL

相信使用过扩增实境(AR)或虚拟实境(VR)装置的使用者都有相同感受,就是当要进行查找或键入资料时,必须在虚拟键盘上使用红点或是控制器一个字一个字的找跟点选,不仅慢又累。而Facebook最新开发的一项AR/VR装置适用手势追踪技术,可望能够改善这种情况。

尽管目前Facebook旗下Quest已导入基础手势追踪技术,能够让使用者在系统接口上拖拉、点选、浏览网络、甚至进行特定兼容游戏,而无须额外的控制器,但这个技术上无法支持到追踪手指动作,例如在虚拟键盘上打字。

为此,Facebook Reality Labs(FRL)尝试开发出更细腻的手势追踪技术,包括手指动作在内,让这项技术能开发出更多应用。根据介绍,研究人员采用高精准的外部手势追踪系统,使用动作模型来预测使用者打算在平坦表面上打字的内容;这项技术可独立辨识个别手指在虚拟键盘上的移动。

FRL表示,这项基于手势追踪系统的技术采用手部动作做为输入媒介,并将手指动作直接解码为要键入的文字。不过FRL也表示,目前仍在早期研发阶段,但某种程度已证明手势追踪对提升生产力的潜力,例如在任何表面上快速打字。

研究指出,必须克服的主要障碍之一是如何降低手势追踪系统「打错字」机率,在没有键盘触觉反馈的情况下,研究人员选择以人工智能(AI)技术来进行逻辑预测、分析使用者手指下一个动作会落在哪里个字母上。同时也采用了自动语音辨识的统计解码技术,加上语言模型共同协作,以求更精准预测使用者打算键入的文字,降低打错字机率。

透过上述模式,测试人员在平坦表面上使用双手每分钟打字73个单字,未效正错误率为2.4%,相较于同一人员在实体键盘上打字的速度和准确度相差无几。

当然,相关技术(包括手势追踪在内)都仍有很大改进空间,这也是FRL持续推进的目标;且预期Facebook也将会把相关技术导入持续开发中的AR装置上。透过Oculus Quest装置进行创新技术测试也似乎成为Facebook迈向更先进AR装置的合理模式。

FRL手势追踪技术介绍影片连结一

FRL手势追踪技术介绍影片连结二

  •     按赞加入DIGITIMES智能应用粉丝团
更多关键字报导: Facebook AR VR 手势追踪