智能应用 影音
DTResearch
event

辨识表情并转为Emoji 耳机助攻VR沟通

C-Face隔著口罩也能辨识表情。Cornell University

康乃尔大学(Cornell University)研究人员开发出一种耳挂式耳机C-Face,藉由追踪用户脸部轮廓来辨识表情,并转换为表情符号(Emoji)或无声语言命令。

据Electronics360报导,C-Face由2组微型RGB摄影机组成,位于耳机或耳机的耳朵下方,可记录脸部运动引起的轮廓变化,以利在没有相机正对用户脸部的情况下分析情绪。

即使戴著口罩,C-Face也可以捕捉用户表情。为方便分析表情,C-Face在虚拟实境(VR)环境里建立化身,显示用户的脸表达出感觉。

C-Face抓取图象后会使用计算机视觉和深度学习模型重建用户表情,而人工智能(AI)网络则以2D原始数据替用户轮廓表达情绪。

AI将脸颊图象转换为42个点。这些点分布在嘴巴、眼睛和眉毛的形状等受表情变化影响最大的区块。

这些点再转换为8种表情符号或无声语言命令,可用于控制音响装置,对于身处保持安静的环境或不想出声的用户非常实用。

除了用来控制智能装置,这样的表情符号翻译也可以帮助VR协作者们相互沟通。此外,也可以用在在线课程,从学生表情变化收集课堂参与度等信息。

目前该耳机最大的障碍是受限于电池容量,不过研究团队正致力于开发具更高电池容量的装置。


  •     按赞加入DIGITIMES智能应用粉丝团
更多关键字报导: 表情辨识 VR 智能应用