MEMS、红外线侦测、机器视觉 建构体感控制应用基础 智能应用 影音
D Book
231
Vishay
PTC

MEMS、红外线侦测、机器视觉 建构体感控制应用基础

  • DIGITIMES企划

为强化Wii动态感应互动精细度,Nintendo采取外挂Wii Motionplus配件强化传感精度。Nintendo
为强化Wii动态感应互动精细度,Nintendo采取外挂Wii Motionplus配件强化传感精度。Nintendo

建构体感控制与互动环境,必须将空间、动作、位置...等信息,以极短的时间撷取、分析、传送、解译进而体现于产品或应用上,其间采行之技术牵涉极为广泛,通常无法仅以单一传感技术完成,在还未有SoC化的整合方案推出前,开发相关消费性电子产品,仍须将建构体感操控环境的独立电路与控制IC,进行深度系统整合...

体感操控,已经成为目前电子产品开发的显学,不只是超热门的游戏主机应用,就连我们习以为常的日常消费性电子,也已朝体感操控、互动的方向进行功能整合与强化。

陀螺仪、加速度计、地磁传感电子罗盘,仍是控制器形式体感应用的关键零组件,可达到更精确的传感精度。Sony Computer Entertainment

陀螺仪、加速度计、地磁传感电子罗盘,仍是控制器形式体感应用的关键零组件,可达到更精确的传感精度。Sony Computer Entertainment

PrimeSense除供应kinect体感控制核心技术,亦提供开发套件、SDK供消费性电子厂商整合体感控制。PrimeSense

PrimeSense除供应kinect体感控制核心技术,亦提供开发套件、SDK供消费性电子厂商整合体感控制。PrimeSense

PrimeSense可在无手持控制器、配戴装置情境下,精确侦测人体手势、动作、姿态。PrimeSense

PrimeSense可在无手持控制器、配戴装置情境下,精确侦测人体手势、动作、姿态。PrimeSense

PrimeSense传感系统透过彩色摄影机、红外线摄影机搭配机器视觉,达到3D空间Z轴深度侦测。PrimeSense

PrimeSense传感系统透过彩色摄影机、红外线摄影机搭配机器视觉,达到3D空间Z轴深度侦测。PrimeSense

完全不需控制器的体感侦测控制应用,可让互动形式更具弹性,开发如跳舞、运动类型的体感控制游戏。Microsoft

完全不需控制器的体感侦测控制应用,可让互动形式更具弹性,开发如跳舞、运动类型的体感控制游戏。Microsoft

例如,以往操控电视的应用情境,若非观看者趋前透过手指触按选台按钮,就是观看者透过IR遥控器进行遥距无线选台操作,这是传统的应用形式,假若产品的控制方式换成皱皱眉或是挥挥手,就能进行收视频道切换、内容调整,甚至更细微的操作行为,对消费者来说肯定更为新奇有趣,同时也能为已趋向红海竞争的产品取得更有利的市场竞争地位。

体感操控成显学 消费性电子前卫应用基础

要达到实用化的体感操控与互动,有相当多的条件限制,一方面消费性电子产品必须在有限的空间或透过简易的装载方式,即能轻松建构体感互动的信息撷取环境,这代表传感系统必须容易装设,同时具备更高的应用弹性、传感精准度,而体感操控的应用效能也是一大关键,必须在用户体态、手势有所变化时,在极短时间内解析动作,同时反应操作结果。

这对于传感系统与信号处理、传送架构都是一大考验,若能达到各项要求,此体感操控的消费性电子产品仍仅在及格边缘,应用的关键在于操控形式(手势)能否易于学习、记忆,不同的操作指令能否被系统精确区隔判读,而不会出现错误认知;此外,增加操控系统的易学性与互动回馈精确度,则是建构体感系统必须持续努力的方向。

目前最复杂的体感操控应用,同时也是最具量产效益的体感操作系统,可以3大游戏机业者的Wii、PlayStation3 Move、XBox 360 Kinect为代表,且均已具备游戏水准的体感操控系统。检视其系统选用之传感技术即可了解,不管是何种型态的体感操控应用,其系统肯定能找到对应的MEMS微机电元件与设计,几乎所有产品的设计都无法避免使用MEMS元件。

微机电技术日益普及 为体感控制技术发展关键

目前MEMS元件产品,举凡MEMS阵列式麦克风、MEMS加速度计、MEMS压力计、MEMS陀螺仪、MEMS电子罗盘(地磁传感)...等元件,已相继成为移动电话的必备元件,而这些MEMS元件也不仅有生活类型产品的加值应用,在医疗或是M2M的应用环境,仍然扮演相当关键的角色。

而MEMS技术在半导体微缩制程持续改善下,元件的体积、效能、精密度已经达到消费性电子应用的要求水准,同时关键元件的成本持续下滑,更为产品选用对应传感技术增加更多诱因。

MEMS目前在消费性电子的应用,主要以游戏机的体感控制器、高端智能移动电话为大宗,而MEMS的应用对现有的消费性电子产品,具备更划时代的功能整合与强化使用体验。例如,目前有线电视动辄上百台内容,若遥控器可整合如陀螺仪、加速度计等MEMS元件,除了单纯的按钮传送控制指令外,遥控器还可衍生如游戏机般的摇晃、指向、手势指令...等有趣的控制应用。

相同的应用,在家用网络通讯设备,也可使用对应的体感控制技术增加系统的使用弹性,例如,家用的网络通讯设备,在进行视讯对谈时可以自动传感使用者位置、距离,动态调校画面对焦与重点内容呈现,而透过MEMS阵列麦克风收取最佳化降噪后的免持对话语音。

同时搭配电子伺服马达同步控制进行多人视讯会议之画面切换、镜头移动、特写撷取等细微操作,整个过程均不需动手操控繁复指令,仅需由体感控制搭配简易手势、动作解析应用意图,轻松达到更好的设备应用体验,这些都是未来体感控制最想达成的功能整合效益。

体感操控系统设计 因应产品实用性

但本文一开始也谈到,体感操控之设计方案,在产品规划之初即限制相关传感技术、设置环境,必须在容易架设的前提下,达到最佳化的产品应用精度、传感效能要求。

因此,容易架设的前提或是传感元件直接与设备整合的微缩设计系统,也会造成体感或指令撷取的限制(传感范围、动作复杂度、反应效能),影响体感控制设备在使用上出现不如预期的便利性,如何达到能满足应用目的、同时又能达到最佳化的体感操控、互动的目的,成为体感侦测应用系统的设计关键。

从目前的应用型态与已经大量上市的应用产品观察,相对较完善的应用整合方案,仍以TV Game游戏机应用为主,例如,Wii与PlayStation 3这两款游戏机,为搭配红外线传感或是camera and video-tracking基础技术,再搭配整合MEMS元件(加速度计、陀螺仪、地磁感应器)...等技术,去建构体感应用环境的现场与使用者体感互动基础数据撷取,再搭配游戏机与开发SDK(System Development Kit)资源,让相关游戏开发商能在SDK与传感架构基础下,快速发展多元的体感游戏产品。

以家电形式发展的体感操控与互动应用来说,较多的应用情境并非如同游戏般必须传感复杂的指令与回馈动作,而是相对单纯的指令撷取与动作反馈,相对所需使用的系统就不如游戏机提供的传感技术这麽复杂,而元件的传感精度与信息处理效能,虽不用朝高标准要求,但也必须注意控制应用的体验,若过度压低产品成本导致互动延迟较长,也会让体感操控的应用品质大打折扣。

即便体感操控、互动应用方面的技术,老早在5~10年前相继达到可用的技术研发程度,但实际上体感操控、互动应用相关的传感解决方案,多数产品仍处于由各家厂商自行整合的形式,或采离散系统的形式进行开发。

离散式体感控制方案 增加系统整合难度

例如,游戏机的体感控制器就是由多个MEMS元件整合,可能跨多家厂商、多种传感技术元件方案,这对于想投入相关应用的消费性电子业者来说,在产品的整合弹性、开发速度、功耗控制、产品体积...等条件,甚至是整合方案的成本,都会形成不低的进入门槛。

而为达到高效能、高精度要求,部分厂商也尝试采取定制化整合微机电IC作为开发系统形式,例如,PlayStation Move体感控制器采用的芯片方案,主要的关键芯片除蓝牙无线模块外,大多为定制化产品,光是Move控制器内就应用了STMicroelectronics、Kionx、CSR、AKM Semiconductor...等半导体供应商产制之芯片。

Move体感控制器所具备的6轴运动传感应用(STMicroelectronics),同时内建6轴加速度计(Kionix),及另一对分别针对yaw与pitch and roll控制机制设置的陀螺仪(STMicroelectronics)的整合方案,同时Move体感控制器还采用1颗AKM Semiconductor产制之electronic compass(电子罗盘)芯片,光是一个体感控制方案就已经是相对复杂的系统设计,其间如何达到最具效率的数据撷取与整合、传感数据传输方式,都成为系统开发的技术门槛。

传感IC整合方案 降低体感应用开发难度

在体感应用的整合方案需求日殷的市场环境下,也有芯片业者尝试推出整合或内嵌体感控制应用的整合方案。例如高通(Qualcomm)即收购 GestureTek部分资产,取得gesture recognition(体感识别)相关技术,在Qualcomm计划中预期会将体感识别技术,整合至Snapdragon移动处理器,借此使应用Snapdragon移动处理器方案的智能手机、平板电脑或其他消费性电子产品,都能直接以低成本、高效益方式,直接衔接所需的体感控制应用技术,而不需再费神整合离散的MEMS元件。

GestureTek成立于1986年,高通收购项目主要以GestureTek的体感识别技术、engineering resource,GestureTek基本上拥有8项在1996年取得之camera and video-tracking专利,另具备其他37项专利相关申请案。

技术整合的方向,可让体感控制、互动应用的系统设计速度加快,甚至透过完善的整合方案,可以让原有的消费性电子产品,以最低的成本、最少的时间完成体感控制技术整合,快速因应多变化的消费性产品市场!而应用整合元件也有相当多的优势,一方面整合元件为整体经过验证的配套方案,在产品开发初期可更聚焦产品的核心应用功能,不必分心进行传感元件的架构整合,甚至传感元件整合方案可以轻松的与现有系统进行电源管理系统衔接,不必重新针对重点传感元件或系统方案进行开发。

免控制器的体感操控设计正夯

体感应用与互动设计,另一个发展极致为整个体感控制完全不需控制器与配戴式产品的辅助,即可达到精确的动态与空间传感信息撷取。以PlayStation Eye摄影机系统为例,为采用Omnivision的VGA@60fps的彩色CMOS摄影机解决方案,来进行彩色视讯撷取,同时搭配video-tracking将游戏者的动态、肢体节点转换成数据数据,但即便是可利用video-tracking取得动态数据,在实际应用上仍缺乏场景的深度信息。

PlayStation Move的体感侦测方案,PlayStation Eye摄影机系统为辅助角色,其传感的结果仍会参考Move体感控制器的地磁传感(电子罗盘)、加速度计、陀螺仪...等相关数据,再搭配PlayStation Eye摄影机的video-tracking传感结果整合分析,精粹出相对具精确度的肢体动态传感信息,供体感游戏进行互动操控应用。

但最佳的体感应用设计,极致目标为朝向完全不需控制器的整合方向,目前Microsoft的Xbox 360游戏机采行的动作传感界面装置kinect,即是朝完全不需控制器方向发展的体感控制技术。

kinect的技术核心为以色列一家无晶圆半导体公司PrimeSense所开发的传感技术,PrimeSensor为利用1组彩色摄影机搭配红外线摄影机,达到取得彩色画面与场景深度数据的参考设计,让机器能达到近似人类视觉,可识别动态距离感的应用形式,使机器能够识别、理解3D世界。

PrimeSensor实作方式为透过1组Class I等级的红外线设备,向空间持续投射人眼看不到的图案,而透过红外线摄影机再将投射图案撷取,利用撷取图案的差异来判断摄影范围的物体远近差异,而采行Class I等级的红外线设备可避免对游戏玩家的人眼造成伤害,同时又可以达到线上离聚焦、准确判断距离感的设计要求。

以PrimeSensor实作的测距精度,可以在空间深度(Z轴)的精密度达到1cm水准,空间的X和Y轴分辨率则可达到mm毫米等级,而Kinect使用的3D动态数据又可搭配强大的XBox 360实时撷取建构参考数据数据,达到强化3D传感精密度的设计目标。有趣的是,Kinect为使传感范围更宽,系统较PrimeSensor提供的参考设计追加了伺服追焦系统,也就是即便使用者在有限范围内跑来跑去,Kinect仍可依据video-tracking传感结果,动态控制Kinect底座的电子伺服机械结构,进行追逐被摄主角的传感动作。