建立高效储存基础 拓展巨量数据应用 智能应用 影音
Microchip Q1
Event

建立高效储存基础 拓展巨量数据应用

  • DIGITIMES企划

伴随大数据分析等效能密集型应用需求攀升,导致全快闪式或混合式快闪储存阵列渐成新宠。EMC
伴随大数据分析等效能密集型应用需求攀升,导致全快闪式或混合式快闪储存阵列渐成新宠。EMC

无庸置疑,如何深耕巨量数据(或称「大数据」),对于现今各行各业而言,已是放诸四海皆准的重大课题,更已成为企业赖以推动业务创新与商务管理的关键利器;以金融业为例,深究时下炙手可热的金融科技(FinTech)议题,大数据便是个中核心项目。

时值工业4.0、生产力4.0口号响彻云霄之际,使得智能机器人跃为新宠,影响所及,多数制造企业皆视自动化生产、机器人、物联网等工业 4.0元素,乃是翻转传统生产线、建构新时代智能工厂,继而促成产业升级、提振全球竞争力的关键所在。

在此前提下,诸多制造企业都亟思善用智能机器人、工业物联网等技术,形塑人机协同之作业环境,期使工厂内部的每台生产机具,彼此之间都能相互对话沟通,甚至进一步串联上游供应端,俾使工厂管理者能随时知悉各项原物料供应状态,也能综览包括插单或急单在内的所有订单信息,以便于精准掌握大大小小每一个生产环节,善尽最佳化资源调配,终至消弭无谓的浪费、降低库存,成功加快定制化产品的交货进程。

智能机器人正夯  制造与金融产业皆热情追逐

如今智能机器人这股风潮,不只在制造业领域大行其道,也吹向了金融业。以对岸的国内招商银行为例,其信用卡中心早在2013年便导入智能客服机器人,挟着颇为精确的语音识别技术,辅以背后强而有力的大数据蒐集及分析能力撑持,成功协助该中心妥善处理高达数千万笔客户对话,且恒常维持九成以上的准确率,让许多顾客的疑难杂症迅速获得解决,连带使得原本沈重的客服中心营运维护负担,顿时减轻大半。

无独有偶,在2015年8月期间,国泰世华银行领先台湾同业推出智能客服机器人,定名为「智能小Q」,标榜能为客户提供24小时在线实时客服,意即客户不管有任何问题,只要造访该行官网、网络银行或移动银行...等等不同管道,都可望透过智能小Q迅速获致贴心而精准的解答。

探究智能小Q的运作原理,乃在于利用人工智能关键字比对、语意理解等技术,针对客户所提问题,由系统快速查找相对应信息,并藉由拟真的人机互动实时服务模式,满足客户之于存汇款、信用卡、贷款、产寿险、企业金融服务、信托、财富管理...等等产品或服务相关解惑需求,甚至客户想要了解天气、旅游、休闲等其他话题,智能小Q也能加以回覆。展望今后,国泰世华银行仍将持续推动知识的蒐集、建构与优化,使得智能小Q满足客户需求的能力不断攀升。

机器人、IoT与大数据  环环紧扣形成创新能量

不仅止于客服,在国外,也开始有银行藉助电脑运算,协助用户进行专业理性的投资组合管理,即是「机器人理财顾问」。对此瑞士知名研究机构MyPrivate Banking Research发布相关报告指出,预期时至2020年,全球由机器人顾问掌管的资产管理规模(AUM),将从2015年大约200亿美元的部位,快速攀高至4,500亿美元;由此可见智能机器人在金融业界的威力,着实不容小觊。

然而不可讳言,纵使智能机器人技术应用看来极其酷炫,但它并非自成一格,而需要与物联网、大数据等其他课题环环紧扣,才能形成大循环,终至构筑完整的大局。换言之,不论各行各业,其营运环境里头的各种联网设备,多会有感应器(Sensor),而这些感应器不断汇集数据、产生巨量数据(含大量结构化、半结构化或非结构化数据),接着藉由机器学习演算法,衍生人工智能(AI),再由AI指导机器人懂得更加精准地执行任务,而机器人的一举一动,又将触发感应器,创造一波波巨量数据,形成生生不息的正向循环,无论制造业、金融业、零售业、医疗业...乃至更多产业,都将拜此一循环能量,不断推动营运创新与进化。

只不过,现实与美梦两者之间,始终毫无例外地出现一次次巨大落差,以前述智能客服机器人等金融大数据案例而论,纵然称得上是让业者为之惊艳的创新应用,但要想顺利付诸实践,不仅并非一蹴可几,而且不时受制于一些传统的老问题,在起步点无奈打转!

突破储存效能瓶颈  化解大数据应用阻碍

何谓老问题?肇因于运算与储存两造之间的技术进步幅度落差,因而造成挥之不去的效能瓶颈,便是亟待化解的根本议题。

从1980年迄今,处理器(CPU)及存储器的处理效能大幅跃进8,000倍之多,同期间以太网络从10Mbps跃升为100Gbps,演进幅度更高达1万倍之谱,反观现今仍位居主流储存媒体的硬盘,虽然在容量方面,出现了多达10万倍的巨大增幅度,但可惜在效能部份进展有限,仅出现不到5倍的提升。

换句话说,即使银行后台的大数据分析系统、机器学习演算法再如何犀利,倘若不设法突破运算与储存之间的效能落差,前端的智能客服机器人也只能苦苦等待储存装置的回应,依然无法迅速将精辟的解答传送予最终客户;甚至在执行大数据演算分析的过程中,硬盘便扮演着效能杀手,已经拖慢了答案产生的速度。

如何是好?有不少业者或用户,便将矛头指向了IOPS(I/O Per Second)效能比机械式硬盘好上100~1,000倍的固态硬盘(SSD),希冀借此有效突破传统硬件的性能限制。惟有业者提醒企业用户,若单纯把传统硬件换置为SSD,再挂上基于数据保护所不容或缺的RAID,其实并不是理想的方案,只因为过多无谓的数据存取,唯恐缩短SSD的寿命,且很难控制RAID阵列中每颗SSD的寿命,此外,也将无可避免地面临RAID阵列的效能瓶颈。

快闪储存阵列  助力巨量数据分析

处于「传统硬盘IOPS不彰」、「SSD挂上RAID亦有问题」两难之中,开始有业者倡议快闪存储器储存阵列(AFA)架构,并强调它将形成储存媒体的典范转移,借此利用SSD突破数据中心与企业内部的大数据储存效能瓶颈,并以SSD加速数据存取、搭配传统硬盘兼顾效能与容量的平衡;具体来说,传统硬盘的主要优势为容量,十分适合置于云端后台承载Cold Data,满足长期储存与备份需求,至于以效能为主要优势的固态硬盘,则胜任企业数据中心Hot Data存取之主流选项。

论及AFA的适合应用领域,则包含能够受惠于高速储存的所有应用,以一般企业而论,适用范围便涵盖数据库、电子邮件、虚拟化、分层式数据快取,以及大数据与巨量数据分析;此外还有高速运算应用,例如科学运算、天气观测与预测、无线信号或大规模网络模拟;另举凡证券交易的实时撮合、金融业或电信业的帐单处理、电影或动画业的影片后制与档案格式转换、网络业的高速储存服务供应(Provisioned IOPS),及生技制药业的化学反应模拟,上述种种行业特有应用项目,也都在受惠范畴之列。

值得一提的,进入大数据时代,企业愈来愈难以预估未来五年、十年数据增长幅度,导致过往惯用的「先规划、再建置」方式不再适用,因此企业纷纷寻求一种能够先满足目前所需容量、未来也易于扩充的建置模式,故而对于深具高扩充性的分散式储存技术Ceph备感兴趣;现今已有业者藉由智能快闪存储器、Ceph平台,提供企业级数据服务,针对大数据或超大规模工作负载,供应巨大容量、极高效能与卓越可靠度。