体感技术与互动应用的开发与机会 智能应用 影音
DForum0522
ADI

体感技术与互动应用的开发与机会

  • DIGITIMES企画

皮托科技(Pitotech)软件系统处处长陈家明。
皮托科技(Pitotech)软件系统处处长陈家明。

从多年前关键报告到最近不可能的任务4,透过特效技术的运用,电影已经把未来触控、体感的各种应用,透过银幕呈现给所有的观众了。

皮托科技(Pitotech)软件系统处处长陈家明指出,体感游戏的演进,从早期拿光线枪、握驾驶盘的控制方式,进化到大型游戏机台,再进入家用游戏机,到最后的体感互动。像微软Kincect、华硕Xtion体感装置,外部结构都具备红外线CMOS摄影机、红外线发射器,可实时录制一般RGB彩色影像与相对于屏幕的深度影像(Depth Image)。

体感╱动作传感技术的原理与演进

微软买下以色列3D V system的Time of Flight(计算飞行时间)技术,并与另一家以色列PrimeSense公司合作,于Kinect使用其Light Coding的3D测量技术。Time Of Flight的原理是计算光线飞行时间,由体感装置发出脉冲光,碰到物体反射后由装置接收反射光并计算取得距离;Light coding则利用雷射光照射空间物体产生的散斑(Laser Speckle),经红外线摄影机记录以及芯片运算进行解码后,计算还原出有3D深度的图像。

陈家明提到,当前动作识别技术有骨架追踪与姿态识别研究。骨架追踪是由摄影机录制的画面与3D深度影像综合判断,经由判断出人员身体各部位骨架╱关节点的位置与改变,转换成动作指令,并以既有累积的庞大动作数据库,去做到智能识别能力;姿态识别研究则进一步参照影像动作与姿态识别,作为相关演算法的延伸。

各类型动作撷取装置╱技术的解决方案

在动作撷取(Motion Capture)技术发展上,目前已有搭配微软Kinect或华硕Xtion Pro体感装置的Markesless(无标记物)动作撷取系统…无需要穿戴任何标记物,只需要将受试者的动作拍摄下来并透过系统进移动作分析,系统会自动计算模型的空间位置及动作姿势,自动将虚拟Model的动作依据图片的动作进行调整修正,1部摄影机即可完成动作撷取。但撷取分辨率、速度与撷取范围都比较局限(仅640x480@30Hz、2m X 2m)。

皮托科技的PhaseSpace动作撷取系统,整套系统价格约新台币百万元以上,需要设置在专业摄影棚内;它可支持48支光学摄影机,光学分辨率为3600 x 3600,撷取速度高达480 frames,同时追踪高达256个标记,可用于多人物、较宽广场地,甚至细腻到脸部、手指之动作撷取,并整合虚拟实境系统,适用于3D动画制作、融合导演摄影、生医研究与动作分析。

更高精度的陀螺仪动作撷取(Gyro Mocap)技术,如Animazoo IGS-190利用模特儿穿戴内嵌陀螺仪功能的标记物,1个人配戴的整套装置只须1只皮箱就可带着走,不需摄影机、摄影棚,同时具备简易校正、简易data clearing的特性,同时支持室内100m、室外200m的长距离动作范围。

增实境与体感互动技术应用

陈家明提到,增实境(Augmented Reality,AR)可以增加人与虚拟物件的互动,有助于教学、展示与行销,像是拍摄购物者并结合衣物、皮包或其他商品,所呈现的体感试衣购物应用。目前皮托科技已开发出不少结合虚拟人物到真实世界投影的应用范例,例如翰林文教国中小教学书内的立体模型展示;皮托也提供增实境GUI创作工具,供业界进行开发与创造应用。

皮托科技的Vizard体感互动开发系统,仅需搭配微软Kinect或华硕 Xtion Pro体感装置,在复健医疗应用上,像是局部支干活动、全身活动,并提供识别数据库;开放式控制界面设计,并支持Rovio(WiFi)、E-puck(bluetooth)等机器人控制界面。

姿态识别部份则提供人体15个部位,包含头、颈、身、手臂、脚部等,提供站立、T pose、右手上举、左手上举、双手上举、右手出拳、左手出拳与投球等动作库;并结合结合摄影机应用,加入虚拟物件以达成增实境的用途。

Vizard从3D物件、分身、影像、视讯与音讯五大类格式数据来源输入,结合动作感应器,以及支持OpenGL、C++语言/API的着色处理插入套件(Redering Plug-ins),从虚拟到增实境的整合式平台化设计,整套系统仅需3秒钟学习动作,3秒钟识别动作,不须写程序,系统自动学习。可做为机器人控制、脸部追踪、心智传感、虚拟实境等应用,以及结合物理传感器的增实境的应用。