善尽数据收集、组织与分析 稳健迈进AI殿堂

2018/03/15 - 周维棻

历经近年来大数据、数码转型乃至人工智能(AI)等议题洗礼，多数企业皆体认到数据之于经营管理的重要性，也亟欲建立「数据驱动」企业文化。在去年(2017)，IBM与IDC合力进行一项台湾企业的访谈调查，受访对象共计133家，横跨金融、制造、零售、医疗、电信等等众多领域，这些企业一致认同数据驱动模式的价值，并将此列为急迫的转型目标。

尽管众多企业急欲建构数据驱动模式，但在实现过程中，仍面临诸多挑战。台湾IBM云端运算事业部资深技术协理胡育铭，归纳个中挑战有四，首先在于数据管理，随着数据型态多样化，既有结构化数据、非结构化数据还有半结构化数据，加上数据储存环境趋于多变(本地机房、公有云、混合云)，数据存取方式也比从前复杂(SQL、NoSQL)，在在徒增管理的难度；其次在于数据处理的实时性，现今商业决胜关键就是「快」，谁愈快将数据变现为商业价值，谁就能成为赢家！但现今企业面对的不只是内部交易数据，还需处理社群媒体数据、物联网(IoT)数据，如何解析各种外部数据、实时回应市场需求、加速数据变现，显然存在许多考验。

另两项考验，其一是数据科学人才，早年此问题确实不小，但随着Hadoop、数据分析纳入学校教育的素材，拥有AI、Data Lake技能的年轻学子开始进入职场，让人才旱象逐步纾解；另一是数据安全，显而易见的，信息流渐趋复杂，且遵法合规压力日益沈重，此问题确实不容小觑。

迈向AI经历三阶梯，非一蹴可几

企业积极探索AI致胜捷径，找寻最快最好的演算法，但毕竟商业经营并非棋奕，靠的不是固定规则的简单逻辑运算，经常需要从浮动规则中发掘问题，因此回过头来看，底层数据是否完整、洁净，着实影响AI的整备度；换言之，绝非有了AI，前述种种挑战便可置之不理。

「IBM认为AI需要靠数据、分析、机器学习等『阶梯』一步步堆叠而上，并非一蹴可几，」胡育铭说，企业唯有扎实地备齐底层数据，做好OLAP、交叉分析、动态分析等必要工作，提升数据完整性与乾净度，再借助机器学习等相关工具，针对不同数据结构套用最适当的演算法，如此才能发挥最大综效。

为简化企业踏上阶梯的每一步，确保企业成功迈向 AI，IBM集结混合式数据管理、统一治理与整合、数据科学与商业分析等三大平台，汇聚为IBM Analytics完整架构，帮助企业依序突破数据收集、组织、分析等三道必经旅途中可能遭遇的阻碍。

诉诸三大平台，助力建构数据驱动文化

其中「混合式数据管理」平台，旨在协助企业因应多样化数据来源，有效建立现代化数据管理机制，透过快速部署、且贯穿内外部的横向扩展架构，顺畅处理各种复杂数据，即使面对突如其来的数据爆量也无所畏惧；但环顾企业的数据管理需求，往往同时涉及数据库、数据仓储及Data Lake等不同产品，若个个都采传统软件授权模式，恐徒增企业运用上的限制，不易应付一时爆量情景，为此IBM推出全新弹性点数计价模式，按使用量计费，简化不同产品工具间的功能转换，有效解决这般疑虑。

针对「统一治理与整合」平台，意在藉由数据的发现、编目与遮罩等关键功能，帮助企业管理流动数据，举凡数据的产生、转变、属性调整、分析、生成报表、数据采矿(Data Mining)与统计分析，乃至AI模型训练等生命周期历程，每一步皆能有效掌控，且遵循各项法规，严格确保数据安全性。

第三道「数据科学与商业分析」平台，可谓数据变现的最后一里，其中蕴含许多重要机制，不仅支持描述性、预测性分析，甚至进一步发挥处方式分析妙效，当企业在取得Data Mining结果后，便能利用自动化工具，根据当下处理的数据结构，自动产生最佳模型建议；此外该平台除可让工程师以R、Phython进行编码程序分析外，也提供另一管道，便于业务或行销等非IT同仁执行自助分析，藉以实时剖析专案执行成效，甚至快速从全球网络汇集特定信息，满足舆情分析需求。

值得一提，放眼全球数据科学及AI相关方案，唯独IBM兼具上述三大平台供应能量，且同时支持在地与云端部署，用户从踏上AI 阶梯起点、直到迈向终点的整个演化历程，皆能获得完整协助。


图说：台湾IBM云端运算事业部资深技术协理胡育铭强调，企业迈向AI，须历经数据、分析、机器学习等三阶梯演化历程；故应回归根本，设法突破混合式数据管理、数据治理与整合、数据科学与商业分析等不同阶段的各种挑战。