巨量数据分析的个人化应用

Yahoo亚太区研发工程部副总经理黄薇如。

巨量数据(Big Data)近年来已成为市场关注焦点，为了能够发掘巨量数据的商业价值，在基础建设已经渐渐完备，数据蒐集及储存能力已然成熟的环境下，巨量数据应用的探索焦点，已逐渐从数据技术与系统的讨论，逐渐转移到数据的分析与各领域的深化应用。

如目前的入口网站早已是许多人日常生活不可或缺的服务提供者，透过使用者在使用入口网站服务的行为分析，业者不但可以更进一步地提供个人化推荐服务，还可能为相关业者找到更多的商机。

但并非所有的数据都能产生价值，必须透过很多生态系统搭配组合，才能产生用户所需要的信息。数据的确需要去开采，也需要技术及工具，但技术及工具也可能会用错或浪费资源，所以技术人员不能只看技术，而是要去理解数据真正的价值所在。

如健康照护服务及定位数据如果加以混搭，虽然可以提供更进一步的价值，但如何说动使用者开放或分享，其实需要更细致的说服过程。此外，巨量数据分析所呈现的世界，客户需求会更加清晰，但市场区隔也会变小，产品及服务必须要更加定制化。

随着无线网络、移动设备及物联网的时代来临，人与物的连结将变得更加多样化，也创造出更多各类型的数据，如何管理、维护及分析这些数据，并将正确分析的结果实时传给正确的使用者，创造更多的商业价值，势必将成为企业未来非常重要的竞争力，巨量数据分析的价值，值得加以重视。

巨量数据分析的个人化应用

网际网络基础建设渐趋成熟，加上移动设备的便利性及普及，让许多人的日常生活行为，已经离不开网络，其中又以入口网站接触到的使用者最多，也成为巨量数据的最主要来源。

Yahoo亚太区研发工程部副总经理黄薇如指出，Yahoo提供的诸多服务，如电子信箱、购物、新闻、理财等，都可以追踪到消费者的足迹，加上使用者其他的网络使用行为如点击广告等，以及全球每月可收集超过16亿只智能手机及平板电脑上的使用者行为，如何进一步分析这些个人化应用，已成为重要议题。

黄薇如指出，信息及选择太多，其实也是巨量数据分析所遭遇的一大难题，以Yahoo所能追踪的消费者使用足迹为例，就会发现其实跟一般官网可以追踪的足迹不太一样，由此也可知，巨量数据与一般数据其实仍有差别，不能用同样的思考或方法来分析。

黄薇如表示，巨量数据具有5大特性，包括数据量(volume)、速度(velocity)、多样性(variety)、易变性(variability)及真实性(veracity)。其中数据量、速度及多样性这3项是一般较常用来评估巨量数据的标准。

由于使用者平日在网络的应用习惯，举凡使用查找引擎、实时通讯、看影音节目、气象、听音乐、购物、社群活动、上传相片、电邮及阅读新闻，Yahoo都有提供对应的服务，其中光是使用者接触到的媒体内容、电子商务及数码行销广告的使用行为分析，就可以产生非常大的商业价值。

黄薇如进一步强调，在分析巨量数据时，Yahoo一定会做好个人隐私保护，只有行为数据才是真正可以分析的行为。例如，光是早餐的麦片种类就超过70种，往往会造成消费者选择的困扰，但如果透过适当的使用者经验分析，就能提升使用者的正面体验。

黄薇如以一个小资女班族的日常生活为例，早上在搭捷运上班途中，打开手机看新闻，透过巨量数据分析，就会优先提供这位使用者平常阅读的影剧新闻、近期因为想要旅游而常关注的旅游文章，以及最近热门浏览的财经新闻。

透过巨量数据分析使用者行为，也能让使用者得到更多相关信息。如使用者在点击购物中心84折运动的信息时，网站就会提示使用者之前看过的那些商品，其实也适用此活动。

甚至在使用者因为点选了广告推荐的日本秋季赏枫行程，个人化推荐模块就会显示超级商城的冬季新装长大衣，或是日本零食、美妆等商品信息。而且当使用者下班后经过药妆店时，超级商城App也会提供有限定商品折扣的信息，而且凭App产生的条码，到店购买就可享有第二件7折优惠。

黄薇如指出，Yahoo首页每天分析超过1亿个以上的网络使用行为，才能提供使用者最感兴趣的互动，而且使用者的网络使用行为愈多，Yahoo提供的信息也会愈精准。

而对厂商而言，精准行销广告本来就会有提高广告投资效益的效果，如果能根据使用者行为，在首页出现相关的广告，或提示相关的行销活动，抓到使用者的需求，销售将会成倍数成长，尤其是个人化模块的促销量，效果又会比网站推荐模块的效果更好。

针对电子商务，Yahoo台湾团队自主研发演算法与归纳消费者行为模式进行分群，透过数百群产品推荐模块，提供更优质的个人化服务，让购物中心来自个人化推荐模块的业绩显着增加。

黄薇如分享台湾致力于电子商务方向的巨量数据分析经验，发现使用者对于实时性的要求很高，也就是说，使用者的任何行为，要在10几分钟后就能完成分析，提供进一步的建议。

黄薇如表示，要做到前述的使用者行为分析，其实需要各种数据分析技术支持，如分析消费者各类行为与需求的预测模型，也要有能力实时侦测互动事件，并回馈产生最佳的个人化服务内容，而具备一个能够从互动产生的巨量数据中，快速地蒐集、储存、撷取、汇整与计算的巨量数据分析平台，更是其中的关键要素。

巨量数据分析平台的运作过程，必须先要有数据来源，然后透过Hadoop、Shark及SQL等技术，很快地完成数据分析处理，最后再将结果储存并展示在使用者的面前。此外，巨量数据要做到个人化分析应用，科学建模(Science Modeling)的重要性不言可喻，黄薇如指出，科学建模依据的数学或科学理论，透过雅虎的实际工程(Practical Engineering)及适应学习(Adaptive Learning)能力，可以具体实践出成果。

黄薇如最后强调，巨量数据分析要做到个人化应用，批次信号及实时信号的分析技术，两者无法相互替代，必须相辅相成，再透过分群数据技术及个人化引擎，最后才能提供为使用者个人量身订做的专属建议。