StarFab
活动+
 

微软运用HoloLens与AI 协助视障者改善人际互动

视障少年Theo运用Project Tokyo的装置学习运用正常人与人互动交流的情境暗示。微软

微软(Microsoft)的研究计画Project Tokyo运用移除镜片的修改版HoloLens扩增实境(AR)头盔,并联机至以图形处理器(GPU)执行客制化机器学习(machine learning)算法的PC,提供视障者关于周遭人们的信息,以协助改善人际互动与交流,让人际关系的建立更轻松自然。

根据TechCrunch与VentureBeat报导,微软曾推出Seeing AI行动App与Soundscape导航App帮助视障者,2016年推出的Project Tokyo结合美国、英国、日本、印度、中国大陆的研究人员,探索如何运用人工智能(AI)、AR等技术协助身障者跟周遭环境互动,例如语音助理对无法操作触控式屏幕或鼠标与键盘的身障者就是一大福音。

人类对于如何与人互动具有非常微妙而复杂的社会理解,包括透过视觉感知周遭人身分、行为、彼此关系与相关程度等,但全球约有2.85亿视障者,其中3,900万为全盲,他们在与人交谈时无法察觉与运用非言语的暗示,而对这些暗示与行为几乎完全陌生的视障儿童,影响将特别明显甚至导致他们出现反社会倾向、妨碍人际关系发展等问题。

Project Tokyo运用修改版HoloLens,搭配适当的成像软件以辨识物体与人,使用者以配戴头带的方式使用修改版的HoloLens,并接收由客制化的机器学习软件堆叠(stack)所提供的1组只有使用者听得到的情境暗示。实际测试显示这套装置在协助视障儿童发展社交互动技巧方面极具潜力。

当侦测到有人接近使用者时,HoloLens会发出象是从来者目前所在大概方位与距离产生的点击(click)声响以提示使用者,而HoloLens上有1个LED条会追踪离使用者最近的人,首先LED条会在侦测到人的所在方向显示白光,而当身分辨识确认时则转为显示绿光,这可让周遭的人知道已被使用者「看见」,也能暗示他们移出装置的视野。

算法中有1个计算机视觉模型会侦测使用者周遭人们的姿势,以提供他们跟使用者的相对位置与距离信息。此外还有1个模型会分析HoloLens配置的摄影机所拍摄的视讯,以辨识周遭人们的身分并确认他们是否愿意让系统提供姓名信息。使用者也可要求系统提供这些人的空间信息,并在当中有人直视使用者时提供空间化的钟声(chime)提示。

若算法辨识出来者是使用者认识的人,HoloLens会发出撞击(bump)声且宣布来者姓名,同时发出另一个类似弹力带拉长(stretching)的声响,以引导使用者转头跟来者面对面。若来者是陌生人或无法清楚辨识,HoloLens也是发出拉长的声响,并随著使用者转向来者而调整播放,直到双方面对面、HoloLens的镜头正对来者时则会停止并发出点击声响。

实际应用于1位12岁视障少年Theo的测试结果显示Project Tokyo这套装置极有助益,Theo除了验证装置的优缺点外,也能开始学习运用正常人与人互动交流的各种暗示,包括转头面对某人以刻意表达对那个人的关注,发展「扫视」周遭以密切注意邻近人们的方法,以建立更积极的社交态度与技巧。

接下来Project Tokyo这套装置必须大幅提升穿戴便利性与降低成本,以满足长期配戴与普及化需求。此外也必须拓展支持更多情境暗示,包括表情、姿势、手势等。未来Project Tokyo在建立AI系统与其它现代便利设施的规划,将持续关注以往很少受到咨询的特定使用者群体,以真正满足其需求。


  •     按赞加入DIGITIMES智能应用粉丝团
更多关键字报导: AR HoloLens