研华
books

HDS一体化方案 助企业快炒大数据佳肴

  • 魏淑芳
日立数据系统(HDS)台湾分公司技术经理梁万宇(右)预期,伴随工业4.0、IoT等议题延烧,2017年起可望驱使更多企业,利用大数据分析投入Production生产应用;图左为日立数据系统台湾分公司技术顾问陈建玮。

DIGITIMES企划

今时今日,基于第三平台衍生的应用主题,着实多不胜数,但不论是物联网、工业4.0、智能电动车、智能家庭…等等看似型态互异的应用,背后皆需高度倚赖大量数据搜集、整理与分析;此乃Big Data题材持续发酵多年,迄今热度不减的原因所在。

日立数据系统(HDS)台湾分公司技术经理梁万宇指出,以往HDS在日立集团的角色定位,尽管已偏向IT基础设备的提供者,但侧重于储存系统一环,尔后集团着眼于第三平台崛起,创新转型的浪潮势不可挡,单凭储存一块不足以涵盖总体需求,故HDS顺势蜕变为含括更多元软硬件工具的IT基础供应者,也意识到Big Data重要性,于两年前购并Pentaho,补强大数据交换及分析能量。

不仅Pentaho,HDS为了让自身基础设备,拥有更佳的介接性,陆续催生了基于物件式储存的HCP平台以及具备强大横向扩充能力的HSP平台,期使企业更方便、更具效率地推动数据分析工程。

前述关于Pentaho所象征的资料ETL(萃取/转换/加载)、分析报表暨视觉化呈现,乃至HDS提出横向扩充、物件式储存等平台方案,种种元素,对于企业能否顺利推动大数据应用,究竟具备何等关联性?日立数据系统台湾分公司技术顾问陈建玮解释,检视企业投入大数据分析,经常面临的一大挑战,不外是已经掌握到众多结构化、非结构化的巨量资料,但不知如何找出Insight,症结就在于缺乏好的工具,将这些来自不同源头的数据,有效统整到单一资料湖泊(Data Lake),以致即使穷尽努力,也难以快速实现资料集成,无法为大量数据建立高度的一致性、完整性,因而对企业创新转型的步调多所延宕。

善用辅助工具  加速推动数据交换与分析

透过HDS供应的一体化方案,便可藉由ETL程序,将不同来源的混杂资料,予以快速整理,汇入单一的资料湖泊平台,继而借助Pentaho的图形化接口,利用最短时间展现出企业想取得的分析结果,其间毋需旷日费时撰写大量Script或程序。

在此同时,还能依据企业期望的短、中、长不同周期的分析战略规画,藉由Flash、HSP或HCP等不同平台媒介,为企业营造出深具成本效益的大数据生命周期管理机制;凡此种种,都有助于在企业汲汲挖掘数据价值的道路上,铺陈出迅速达阵目标的最佳捷径。

若将大量结构化或非结构化资料比喻为食材,企业如果善用正确的辅助工具,不但能够有效保存众多食材,且可随时灵活依据自身应用需求,快速料理出一道道佳肴。另值得一提,透过Pentaho,除了有助于企业迅速聚合基础资料、推动枢纽分析,更可藉此介接诸如Weka或R等开源统计分析软件,建立进阶式统计模式,创造预测分析之妙效。

梁万宇补充说,回顾过去,即使不少企业对大数据分析深感兴趣,但投入的专案计画,多以Pilot Run性质,预期2017年起有愈来愈多案例,会开始跳脱Pilot Run格局,朝向生产(Production)层次推进。

他不忘提醒,部份仍旧按兵不动的企业,习惯沿用过去诸如ERP、资料仓储等系统的建造思维,认为供应商到头来一定会推出最佳实务方案,淬炼一些固定参考模型,帮助用户快速到位,但事实上,大数据应用并不适用这般模式,即使是相同产业,A、B、C等等不同企业的创新目的、或所欲解决的营运难题,往往大不相同,故个别成功经验无法被直接复制套用。

因此建议企业仍应自行建立资料科学家或资料分析团队,先厘清自己的应用目标、及需要接入的数据型态,如此再搭配好的技术平台或工具,才能产生相得益彰效果。