打造完美整合的台湾智能眼镜开放平台 智能应用 影音
leadtek
touch

打造完美整合的台湾智能眼镜开放平台

在经济部技术处支持下,资策会智通所与佐臻(股)公司举办「智能头戴装置-医疗与文创应用国际高峰论坛」,资策会何宝中副CEO受邀致词。
在经济部技术处支持下,资策会智通所与佐臻(股)公司举办「智能头戴装置-医疗与文创应用国际高峰论坛」,资策会何宝中副CEO受邀致词。

为凝聚台湾智能眼镜产业发展上的相关产业、尖端人才、先进技术与创新应用,进而发挥加乘与昇华的效益,在经济部技术处的支持下,资策会与佐臻(股)公司于10月13日,假张荣发基金会国际会议中心,共同举办「虚实互动智能呈现-智能头戴装置医疗与文创应用国际高峰论坛」,邀请来自国内外各种领域之一流智能眼镜专家分享最新相关技术、方案与实际应用案例。与会嘉宾并在盛会中一同见证「台湾智能眼镜研发联盟」开放平台成立以来的成果,同时主办单位并介绍智能头戴装置产品与应用创新竞赛的举办宗旨与信息。

台湾及大陆两大智能眼镜联盟积极交流  创智能眼镜新局

佐臻(股)公司开发之智能头戴装置,目前已应用于日本某些水域之安全点检。

佐臻(股)公司开发之智能头戴装置,目前已应用于日本某些水域之安全点检。

佐臻(股)公司梁文隆董事长莅临致词。

佐臻(股)公司梁文隆董事长莅临致词。

资策会智通所与Skywatch(行品股份有限公司)合作,基于Skywatch之云端监控系统,开发出智能眼镜线上协同工作系统 (Telementoring/Telemedicine);图为紧急救难人员(左图右一)与医疗团队(右图)透过穿戴装置线上作业之应用情境。

资策会智通所与Skywatch(行品股份有限公司)合作,基于Skywatch之云端监控系统,开发出智能眼镜线上协同工作系统 (Telementoring/Telemedicine);图为紧急救难人员(左图右一)与医疗团队(右图)透过穿戴装置线上作业之应用情境。

资策会何宝中副CEO致欢迎词时指出,两年多前Google Glass开启了智能眼镜1.0时代,全球掀起一股前所未有的智能眼镜与智能穿戴风潮,如今智能眼镜的发展正全面迈向2.0时代,并促使各垂直领域定制化及个性化应用的遍地开花,今后智能眼镜2.0时代里,台湾产业将扮演更积极、更举足轻重的关键角色。

佐臻公司董事长梁文隆则表示,佐臻公司长期致力于系统级封装(System in Package;SiP)模块开发与系统模块化概念的推展。本次盛会的举办,希望智能眼镜不仅有硬件上的开发,更重要的是能有行业上的应用,并借此促使软硬件应用的相互整合。

资策会智通所郑育熔副主任提到,台湾智能眼镜研发联盟的成立,旨在打造一个从芯片/关键元件、系统、中介软件系、应用服务到场域的完整生态系统,藉由完备关键零组件、准系统,到品牌产品、应用服务,再到整体解决方案之台湾智能头戴产业链的建立,进而拥有进军国际市场的动能。

佐臻黄呈章总经理表示,为鼓励智能头戴装置软硬件设计与自主发展,特举办专门针对学生、研究机构、创客及公司研发单位的智能头戴装置产品与应用创新竞赛。参赛者必须运用智能眼镜研发联盟的开放平台,开发设计出符合创新性、可行性、实用性及商业潜力等评比标准的新产品或服务。比赛成果将于2016年3月下旬的智能头戴装置暨生产力4.0国际高峰论坛上发表,比赛冠军并能获得奖金10万元以及商品化辅导。

会中除了台湾智能眼镜研发联盟的介绍外,并且有来自国内智能眼镜产业联盟(SGIA)对于国内市场智能眼镜的应用发展与实例进行介绍。在大陆最高学术研究机构国内科学院的引领下,2014年5月8日正式成立国内智能眼镜产业联盟,并以打造属于大陆人的智能眼镜为宗旨。该联盟运作至今,除诸多跨界资源的整外,已有许多实际落地的试点项目进行中。

国内智能眼镜产业联盟市场战略部部长李传勍表示,该联盟于去年9月25日推出基于佐臻智能眼镜模块化解决方案,而针对大陆开发的智能眼镜整机解决方案,同时并在上海家嘉定区成立智能眼镜产业基地。在策略思维上,该联盟首重跨界整合,亦即跨界企业、资源、人才、技术,以及更重要资本加以整合,进而让想法变做法,并让好的做法成为长久的事业。

李传勍并强调,所有创新必须来自人性,而智能眼镜就是符合人性需求的产品与趋势,因为其可解放我们的双手,进而能从事更多创造性的工作。目前该联盟紧锣密鼓地推展许多应用实例,包括幼儿教科书的全面AR/VR化、北京故宫智能眼镜导览,以及与国内央视合作影视技术体验馆专案,包括多视角影像交互、传感器交互整合与空拍机影像整合与同步等。

智能眼镜应用在博物馆导览上也成为全球趋势,除了前述北京故宫的案例外,品臻联合系统并与亚洲大学现代美术馆展开智能眼镜导览应用的合作。

品臻联合系统张国祥董事长表示,品臻公司继2015年6月于国内国家博物馆创新推动以智能眼镜艺术导览之后,紧接将于10月下旬与亚洲大学合作,在该校现代美术馆推行智能眼镜艺术导览服务。本次活动除再次与联想集团、云视智通、Epson及佐臻共同参与外,并整合增实境、室内导航、云端数据库、大数据及CRM等技术方案,并采用资策会所开发并推动的智能眼镜导览2.0技术。

亚洲大学现代美术馆李梅龄馆长表示,该校亚洲现代美术馆是由安藤忠雄设计之台日团队历经6年完成的合作结晶。整栋建物以三个交错叠置的三角形所构成的三层楼建筑,是震撼台湾建筑与营造界的指标性地标。

本次导览所采用的资策会智能眼镜导览2.0技术具备许多特色,包括第一人称视角导览、无需手动操作之「看向何处便导览至何处」机制、情境传感融合、零操作及零学习的科技导览,以及丰富的互动应用加值功能。

穿戴式显示技术、引擎模块与眼球追踪技术新趋势

本次盛会并邀请到国际知名的智能眼镜零组件与相关技术领导厂商,其中,Vuzix是穿戴式显示技术的领导供应商;Intel则是物联网与穿戴式技术引擎模块巨擘;至于Tobii则以穿戴式眼球追踪技术独步全球。

ABI Research的研究预测指出,2018年穿戴式运算装置的年装置出货量将成长至4.85亿美元,其中穿戴式显示或智能眼镜出货量超过7,500万美元,市场总值超过150亿美元。勤业众信预测,企业穿戴式市场将会超越消费性市场。换言之,比起消费者,企业会成为市场首先采用者,因为对企业而言,智能眼镜解放双手能带来惊人的生产力。

Vuzix公司总裁暨CEOPaul Travers持肯定态度地指出,数以百万计的现场服务(Field Service)、仓储、维护及其他企业使用者将能从智能眼镜解决方案享受到于解放双手的效益,尤其当前包括工业、仓储、离岸重型设备操作、医疗应用、汽车、航空与客服出现许多智能眼镜与增实境的应用需求及案例,因为其可满足实时、免手动、随时存取信息、图像撷取与读取扫描代码等需求。

目前Vuzix公司有许多采用其产品的应用实例,包括DHL、RICOH与Ubimax透过智能眼镜的视觉化货物筛检机制,比起先前捡货机制面对2万4千个零组件的捡货作业,提升效率达25%。另外,Airbus及Accenture用于最终组装的应用,发挥了让标记作业更精准、错误率降至零与新手能在短暂训练后可靠上手的效益。

美商英特尔亚太区产品行销开发经理张沛哲表示,Intel 30年来一直致力于让物联网成行,并致力提供可以促使人们创造、了解并控制互连世界的最新装置技术与界面,更开启了包括电信巨头AT&T、美国尚设计师协会(CFDA)、Barneys New York精品连续百货业者、Opening Ceremony时尚零售业者及Oakley运动精品等业者共同组成的全新全球生态系统。

如今商用穿戴式及智能眼镜在工业、线上协作、健康照护、客服及制造业等垂直领域拥有无限前景。其中智能眼镜可细分成为增实境智能眼镜、增强型增实境、智能手机虚拟实境、专用型虚拟实境等子类型。

Intel并推出次时代穿戴式技术引擎Curie Module,该模块配备Intel Quark整合芯片、低功耗蓝牙、动作传感器、内建充电电池,是专为社交媒体、运动与健身等活动之持续在线应用的理想方案。进一步而言,Intel Curie Module的目标装置类型包括消费性健身、智能贴布、游戏手势控制、低功耗消费性物联网应用、流行时尚用品等。

研究眼球追踪技术多年的Tobii资深工程负责人Jonas Andersson指出,眼睛视觉最清晰的地方在于黄斑部中心处的中央窝(Fovea),其清晰区域亦即中央窝区域,亦即人类眼球凝视点之所在。而人类之所以需要移动眼球的原因有3个:将有兴趣的信息放在中央窝区域、在物体或头部移动时保持视网膜影像的稳定度,以及防止静止物体的感知消退。

Tobii并将自家Glasses2智能眼镜用于外科医师的培训上,并藉由校准及验证工具,而将眼球追踪用于眼疾及阅读障碍之筛检上。Tobii成功销售穿戴式科技已有5年光景,如今Tobii智能眼镜主要应用在市场研究、可用性模拟测试、学术研究、知识传输及效能分析等应用上。

目前Tobii积极开辟包括游戏、运算、医疗、汽车及增/虚拟实境等全新以量取胜的低端市场商机。目前针对增实境的眼球追踪使用案例,主要包括眼球指示之使用界面、交互式协助、眼球指示之协作等方面。

协助数据蒐集并提升操作体验的传感与语音识别技术

在物联网与穿戴式产品及应用中,传感技术与语音识别技术也都分别在数据蒐集与操控界面上扮演重要的作用及角色。盛会中Honeywell资深总监David Downey表示,Honeywell旗下传感及生产力解决方案(S&PS),即为专门运用自家高效能数据蒐集硬件来打造定制化订制传感器、交换器、控制器与生产力解决方案的市场领导品牌。

Honeywell今后发展定位会从温度、时间、位置等信息传感,逐步向上朝区域及连线蒐集,乃至云端、本地端及外部储存,而进一步提供数据、流程与环境上的分析,最终并将可行的洞见提供给客户。根据研究指出,2020年全球联网装置数量将上看500亿台,亦即联网装置数达到人口数的1.5倍之多,并在物联网上产生与分享高达40YB的有效数据。

Downey强调指出,没有传感器就没有物联网,Honeywell拥有非常广泛的传感器产品组合,包括板固定/不锈钢压力传感器、力量传感器、气流传感器、温度传感器、湿度传感器、定位传感器及机电传感器等,该公司并不断寻求全新创新性传感技术。

Advanced Media(AMI)是日本语音识别技术与解决方案的顶尖品牌商。Advanced Media行政主管本田正树指出,身为亚太区市场领导者的AMI提供包含医疗、电脑电话整合、会议纪录、移动、教育、物流与汽车导航等全系列语音识别产品组合方案。目前该公司语音识别技术最主要成功案例聚焦在健康照护领域,其中包括医疗门诊之电子病历,大学附设医院之放射照相整合报告、药房病人用药史等成功案例上。

本田正树总结提到,该公司最大的热情与使命就是打造结合智能健康照护服务的智能社会。因为他们拥有真实针对健康照护领域的语音识别技术,同时拥有历经验证的成功案例与效益,因而能为语音识别结合医疗IT系统、巨量数据及智能眼镜的发展带来无穷的潜力。

意法半导体技术行销暨应用软件经理Neil Chuang分析指出,穿戴式可说是第一波的物联网潮流,穿戴式装置之所以能在市场上起飞兴起的原因不外,其能解决现有需求,并可建立在智能手机的个人基础架构上。再者其基于现有连接标准,积极的企业家看见了比复杂消费性电子装置更低的进入门槛,同时大量可用的微型零组件促使端点装置能有合理的成本与尺寸。

健身、健康照护、智能家庭、智能办公、智能城市、智能汽车及智能工业等丰富多样的应用层面,以及智能、低功耗、连接性、可管理性及安全等不同需求,等同为未来数以万亿计的传感器发展造好了桥、舖好了路。

Neil强调指出,意法半导体可说是当前唯一能提供全面多样化类型之传感器与微致动器的公司,包括出货量已超过55亿个,并配备业界领先超低能耗6轴传感器的动作微机电系统、针对医疗应用的姿势传感器,以及微机电麦克风与BlueVoice+。其中聚焦高效能之微机电麦克风,其出货量已超过5亿支,市占率也从2012年不到2%,成长到2014年的10%。至于专门针对语音识别的BlueVoice+,则成功在音讯撷取模块中实施微阵列波束技术。

智能眼镜相关应用与医疗产业的一拍即合

医疗产业可说已经成为全球智能眼镜推行最积极之一的应用重镇,透过虚拟实境、增实境与混合实境等技术的整合,智能眼镜与医疗产业发挥无与伦比一拍即合的完美成效,也为智能眼镜的发展注入源源不绝的活水。

张国祥强调指出,自品臻成立以来,除智能导览、智能物流、消防/公安、线上教学等领域外,便积极在在智能医疗领域上推动智能眼镜专案。其中包括与基隆长庚医院、佐臻及基隆市消防局合作导入智能眼镜及其相关技术于紧急移动医疗,包括移动急诊室、整合病患生命徵象与危急值的实时传递及应用,以及急诊紧急救护护理纪录信息模块的研发与应用。

基隆长庚医院一般外科主任黄挺硕医师指出,智能城市论坛(ICF)组织主席John Jung曾盛赞新北市所开创的移动急诊室,是国际智能城市在紧急救护服务发展中的典范。如今与品臻合作展开之智能眼镜辅助式紧急移动医疗服务专案似乎更胜一筹,因为比起新北市,长庚医院透过智能眼镜能以第一视角来传送病患情况,同时急诊后台可透过增实境进行交互式在线指导与实时派遣,并可运用云端科技将到院前后数据与电子病历做串联整合。

中正大学电机工程学系助理教授王民良可说是专门整合混合实境(MR)与穿戴式技术于整型外科等医疗领域之应用先驱。王民良表示,该院长期投入的重点在于,如何运用MR技术而能在病人身体等实际物体上投射虚拟物件,或在智能眼镜上准确接收病人血管或骨头等信息,以协助医师在手术过程中不需抬头观看其他屏幕,就能接受充分实时又有用的影像或信息,以利手术的顺利执行。

该校在21个临床案例中累积宝贵经验并进行改善,手术中,除了将正确的病人数据,实时传送到手术医术配戴的智能眼镜上之外,如何将血管等数据投影到正确位置上,才是关键所在,透过MR技术便能解决此一问题。该校是全球少数能透过几何运算开发不同模型的先驱者,目前共开发三、四十个不同模型。

接下来将焦点放到上海医微讯公司,该公司透过国内第一例外科手术网络在线示范转播,开启了智能眼镜于医疗行业的应用之旅。上海医微讯CEO潘耿表示,过程中遇到许多问题,除了网络视讯转播只能在Google Plus服务器上实现外,并遇到无线传输、画质及观看载体等问题,所幸随后一一克服解决。

2014年7月于该公司第一次成功在上海第九人民医院血管外科透过Google Glass进行在线示范转播。但过程中出现Google Glass摄影机视角中心有偏差状况、无影灯下手术操作区域发生画面过曝现象,以及手术无法变放大视野。随后该公司透过添加术者观景窗、新增强光模式与4倍数码变焦功能来解决。

本次手术经媒体报导引起广大回响,共计全国各地约有100位学员线上观摩手术。接下来该公司陆续实现第一次尝试异地千人大会上实施转播、首次分屏内容转播、首次超长泌尿外科手术转播、首次应用于远程查房等创举。累积雄厚经验的潘耿建议指出,医疗专用智能眼镜必须依照不同人员定义不同款式功能的眼镜,医生在乎功能而非外观,软件开发上要点不外视讯传输品质、语音及AR识别的准确度等。

目前成大有许多由不同研究所教授负责的穿戴式显示装置医学应用计划,其中包括电通所负责建立穿戴式显示装置于医学应用之系统架构子计划及开发嵌入式双核心平台系统整合等子计划,以及资工所负责开发才机指手术移动教学系统子计划,另外,机工系则有率领研究人员结合现有穿戴式显示器在正颚手术计划的重点数据筛检、系统度验证等工作的子计划。

成大医学院整形外科教授李经维医师指出,当前穿戴式医用程序系统架构大致包括运用于智能眼镜之医用App、后端系统数据库查询机制,以及透过Wi-Fi界面及TCP/IP协定连结以上两者之信息传输通道。其中医用App是透过钜景科技及佐臻公司提的两组智能眼镜进行Android APK开发环境建立、智能眼镜外挂发展函式库,以及使用者界面设计与开发。

展望未来,李经维期望会在外科医师视野前显示放射影像与外科示意图,其次是图像引导手术规划。再者,实际主题影像与虚拟影像数据的混合,则被视为是最终目标。