HDS一体化方案 助企业快炒大数据佳肴

2017/03/08 - 魏淑芳

今时今日，基于第三平台衍生的应用主题，着实多不胜数，但不论是物联网、工业4.0、智能电动车、智能家庭…等等看似型态互异的应用，背后皆需高度倚赖大量数据蒐集、整理与分析；此乃Big Data题材持续发酵多年，迄今热度不减的原因所在。

日立数据系统(HDS)台湾分公司技术经理梁万宇指出，以往HDS在日立集团的角色定位，尽管已偏向IT基础设备的提供者，但侧重于储存系统一环，尔后集团着眼于第三平台崛起，创新转型的浪潮势不可挡，单凭储存一块不足以涵盖总体需求，故HDS顺势蜕变为含括更多元软硬件工具的IT基础供应者，也意识到Big Data重要性，于两年前购并Pentaho，补强大数据交换及分析能量。

不仅Pentaho，HDS为了让自身基础设备，拥有更佳的介接性，陆续催生了基于物件式储存的HCP平台以及具备强大横向扩充能力的HSP平台，期使企业更方便、更具效率地推动数据分析工程。

前述关于Pentaho所象徵的数据ETL(萃取？转换？加载)、分析报表暨视觉化呈现，乃至HDS提出横向扩充、物件式储存等平台方案，种种元素，对于企业能否顺利推动大数据应用，究竟具备何等关联性？日立数据系统台湾分公司技术顾问陈建玮解释，检视企业投入大数据分析，经常面临的一大挑战，不外是已经掌握到众多结构化、非结构化的巨量数据，但不知如何找出Insight，症结就在于缺乏好的工具，将这些来自不同源头的数据，有效统整到单一数据湖泊(Data Lake)，以致即使穷尽努力，也难以快速实现数据整合，无法为大量数据建立高度的一致性、完整性，因而对企业创新转型的步调多所延宕。

善用辅助工具  加速推动数据交换与分析

透过HDS供应的一体化方案，便可藉由ETL程序，将不同来源的混杂数据，予以快速整理，汇入单一的数据湖泊平台，继而借助Pentaho的图形化界面，利用最短时间展现出企业想取得的分析结果，其间毋需旷日费时撰写大量Script或程序。

在此同时，还能依据企业期望的短、中、长不同周期的分析战略规划，藉由Flash、HSP或HCP等不同平台媒介，为企业营造出深具成本效益的大数据生命周期管理机制；凡此种种，都有助于在企业汲汲挖掘数据价值的道路上，铺陈出迅速达阵目标的最佳捷径。

若将大量结构化或非结构化数据比喻为食材，企业如果善用正确的辅助工具，不但能够有效保存众多食材，且可随时灵活依据自身应用需求，快速料理出一道道佳肴。另值得一提，透过Pentaho，除了有助于企业迅速聚合基础数据、推动枢纽分析，更可借此介接诸如Weka或R等开源统计分析软件，建立进阶式统计模式，创造预测分析之妙效。

梁万宇补充说，回顾过去，即使不少企业对大数据分析深感兴趣，但投入的专案计划，多以Pilot Run性质，预期2017年起有愈来愈多案例，会开始跳脱Pilot Run格局，朝向生产(Production)层次推进。

他不忘提醒，部份仍旧按兵不动的企业，习惯沿用过去诸如ERP、数据仓储等系统的建造思维，认为供应商到头来一定会推出最佳实务方案，淬炼一些固定参考模型，帮助用户快速到位，但事实上，大数据应用并不适用这般模式，即使是相同产业，A、B、C等等不同企业的创新目的、或所欲解决的营运难题，往往大不相同，故个别成功经验无法被直接复制套用。

因此建议企业仍应自行建立数据科学家或数据分析团队，先厘清自己的应用目标、及需要接入的数据型态，如此再搭配好的技术平台或工具，才能产生相得益彰效果。


图说：日立数据系统(HDS)台湾分公司技术经理梁万宇(右)预期，伴随工业4.0、IoT等议题延烧，2017年起可望驱使更多企业，利用大数据分析投入Production生产应用；图左为日立数据系统台湾分公司技术顾问陈建玮。