活化巨量数据 创造应用价值

国立台北商业技术学院 教授 邹庆士

巨量数据(Big Data)近年来已成为业界最炙手可热的话题之一，在巨量数据时代，企业不仅需要提升储存容量与数据管理能力，更重要的是，要设法从庞大、多元格式的数据海洋中，挖掘出数据的极致价值，进而创造新的商业机会与营运决策。

国立台北商业技术学院教授邹庆士指出，巨量数据是个大议题，大家其实都还在学习阶段，但可以确定的是，对电脑而言，最有价值的东西已经不再是硬件，而是数据，许多产品及应用也都是以数据为基础，才能进一步产生重大价值。

邹庆士指出，巨量数据的主要应用，仍是以数据探勘为主，但跟过去相比，特点在于数据量变得非常大，但巨量数据不见得数大就是美，容量大小还可以靠技术来解决，整理的时间则因为变得非常长，已经成为数据分析的困扰。邹庆士认为，唯有从数据分析的本质开始思考，才能真正深入巨量数据这个议题。

邹庆士甚至认为，就像Web 1.0是建立网站，Web 2.0则是经营网站，现在的巨量数据应用，应该要进入「巨量数据2.0」的时代。在「巨量数据1.0」的时代，数据是靠IT科技来建立，后来则是透过统计领域或机器学习模式，来建立模式，但现在需要的是达到视觉化及诠释数据的能力。邹庆士认为，在巨量数据1.0，需要的是掌握新技术与系统，但在巨量数据2.0，需要培育新型数据分析人才。

若从数据探勘角度来思考，为了要让巨量数据发挥价值，以数据为基础来做决策，首先要注意的是，数据探勘是一个跨领域的科学，涉及统计、AI、Machine Learning等，必须将来自于不同领域的数据收集起来后，才能整合调理得出结论。

邹庆士将跨产业的数据探勘过程，简化成三个步骤，分别是数据预先处理(Data Preprocessing)、数据探勘(Data Mining)及后处理(Postprocessing)，其中又以第一个阶段花最多的时间，邹庆士表示，前置处理非常重要，才不会在后面产生问题，导致「垃圾进、垃圾出」的数据输出结果。

至于第二阶段的主要工作，分别是预测(Predictive)、群集(Cluster)、关联、异常等管理为主。但回到数据分析的根本，邹庆士认为，第一步要先做到数据有感(Data sensitive)，才知道该怎麽对待数据；第二步是数据混搭(Data mashups)，要懂很多不同的模式，知道每一个模式建模的特性，最后才能落实想法，先后完成模型混搭(Models mashups)及雏型化工具(Prototyping tools)，再一步步放大，但一定要建立在商业理解上。

邹庆士还将巨量数据的属性分成四类，第一类是名目尺度(nominal)，如身份证号码、眼色、邮递区号，特徵是仅能比较异同；第二类是顺序尺度(ordinal)，如排名、年级、高度等，特称是能够分别顺讯；第三类是区间指度(interval)，如日期、温度等，特徵为有绝对零点，差异或距离都有其意义；第四类为比例尺度(ratio)，如长度、时间、次数等，特徵为有自然零点，比率有其意义。

邹庆士强调，每一类的处理方式都不同，运算的方式也因此会有适用的领域，不能随便乱用。数据集类型则分为三种，分别是记录数据(如数据矩阵、文件或交易数据)、图形数据(如全球信息网或分子结构)及有序数据(如时间、次序、间或基因序列数据等)，邹庆士指出，巨量数据时代要面对的数据不只一种，而是多元的数据来源。

巨量数据时代的数据来源，其实是充斥在每个领域，包括推文串流、网页服务器记录等。邹庆士指出，其实重点不在找数据，而是如何混搭各方来源数据，进行混模加值。

因此，邹庆士建议，面对巨量数据时代，企业要练就数据柔术(Data Jiujtsu)，好的数据人才，不能只是懂科技，而是要涉猎许多领域，才有办法将大问题分解成小问题，不用立即处理海量数据，做到小处着眼，反覆加值，以机敏弹性的流程，逐步迈向目标。

邹庆士指出，R工具的出现，就是要因应前述的需求，目前已有5,000多个套件，而且支持开放源，所有的演算逻辑都是公开的，可以借此了解其他工程师的思维。

但在使用工具解决巨量数据的问题时，邹庆士认为要注意三个议题，分别是撰写有效率的程序，提高执行速度；将数据储存在外部，以避免存储器受限的问题；运用专门的统计程序，以有效率的方式分析大量数据。

但不管是什麽工具，都会一直不断地在演化，邹庆士指出，要特别注意工具的发展，工作才会有效率。此外，巨量数据分析要能伸缩自如，可大可小，数据分析的思维，一定要回到数据本身的属性，如纷丝团经营指标最佳权重，数据栏位超过90个，所以在开始进行巨量数据分析时，第一个步骤反而是删除不必要的栏位。

邹庆士指出，活化巨量数据应用价值的关键，主要是加强个人与组织的数据分析思考能力，唯有将数据、程序及人的智能加以整合，才会产生价值。企业还必须要能活化顾客留下的数据轨迹，因为价值的关键在于应用。