智能应用 影音
DTResearch
event

AR打造「听觉超能力」 Facebook Reality Labs造福听障

Facebook结合波束成型、噪音消除、深度学习、AR眼镜强化听觉能力。Facebook

Facebook Reality Labs尝试结合波束成型(beamforming)技术、噪音消除、深度学习、扩增实境(AR),以创意改善人们在吵杂环境的音讯接收能力,相关技术结合AR眼镜与助听器,即成为一套能依个别使用者听力与需求调整的听觉辅助系统,可望造福听障人士。

根据Immersive Technology报导,Facebook一向致力于强化人们的联系与沟通,Facebook Reality Labs的使命也符合Facebook的核心能力,首席科学家Michael Abras表示AR与虚拟实境(VR)可望在无障碍领域促成许多绝佳的应用方式,而未来AR眼镜也能为听力有问题的人或是人声鼎沸活动的参与者提供各种强化听力的协助。

Facebook Reality Labs的科学家尝试根据AR眼镜的焦点变化与音讯输入,推测AR眼镜配戴者希望听到的声音频道且加以放大,并将其它声音频道的音量降低,让AR眼镜配戴者能接收到更清晰的目标声音频道。Facebook还在办公室模拟酒吧的情境,以测试当环境中有多个吵杂声音输入时,AR眼镜对于辨识与凸显目标声频的助益。

虽然许多听障人士仍或多或少能在安静的环境中聆听并与人沟通,但若是在吵杂的环境就完全无能为力,不过由于助听器在移动的车辆中,或是大型活动有多人对话等日常生活使用场景的表现不理想,因此许多重听者并未使用助听器,不过Facebook Reality Labs运用AR眼镜强化听力的方式可望改善这个问题,让更多人愿意使用助听器并获得实质助益。

Facebook Reality Labs结合AR眼镜与一套能理解使用者意图的系统来辅助助听器,根据AR眼镜的焦点将使用者希望听到的声音独立出来并放大音量,且同时间抑制与降低背景等其它会分散注意力的音讯与杂音音量,处理过的音讯讯号再输入助听器让使用者聆听,即可构成一套能个人化调整以符合特定使用者听觉需求的助听器辅助系统。

Facebook听觉科学实验室(Hearing Science Lab)的研究领导人Thomas Lunner指出Facebook Reality Labs运用AR眼镜与空间音讯特性强化听觉能力的研究,可望对Facebook在影像辨识与自然语言处理等许多相关研究领域的发展提供助益。


  •     按赞加入DIGITIMES智能应用粉丝团
更多关键字报导: Facebook AR