大数据上云 打造智能应用与决策的捷径

Google大数据数据分析服务。Google Cloud

随着大数据与物联网时代的到来，大数据分析已经成为企业发掘商业价值、实时回应市场需求，并发展各种能成就更高价值之AI与智能应用的关键。为了降低技术门槛、成本及维护负荷，并蜕变成为「以数据为中心」(Data-Centric)的企业，大数据分析已经成为不可逆的趋势与最佳解决方案。

长久以来，为了维护并发挥数据价值，企业历经了自建数据库、自建数据仓储等不同阶段。随着大数据蔚为趋势，传统自建方案开始在成本、弹性度、可扩展性，甚至安全性上捉襟见肘，这些因素与愈滚愈大的大数据迫使企业走上选择云端数据仓储方案(Data Warehouse)/大数据分析云端服务的路子，如此一来，企业才能从中萃取出符合自身长远发展利益的商业价值与智能。

如今市面上大数据分析云端服务早已成为热门显学，包括Google BigQuery、IBM DB2 Warehouse on Cloud、Oracle Autonomous Data Warehouse Cloud、Microsoft Azure SQL Data Warehouse及Amazon Redshift Cloud Data Warehouse。其中，Google及微软方案更支持无服务器(Serverless)运算架构，让企业更无后顾之忧——完全不用在乎基础设施的管理或扩充问题，也不需建立管理Hadoop/Spark丛集的团队——完全专注在大数据分析、商业价值与洞见萃取，乃至AI训练与智能应用开发等关键面向上。

多云及混合云整合挑战

随着数据量的不断爆增，企业自建数据仓储的经济效益愈来愈低，公有云端为此提供了兼具成本、可扩展性与效率的最佳解决之道。但对企业来说，其只会将非敏感性大数据放到云端数据仓储之中，并透过公有云端大数据分析来进行分析。但敏感性数据，大部分企业仍会储存在自家私有云端里。

于是乎如何成功地将私有云与公有云整合在一起，便成为需要被有效解决以协助建立混合云端基础架构的最大问题之一。毕竟整合多种云端服务所需要的技术技能与含量非常高，虽然在云端之间传输一般应用程序非常容易，但想要跨环境地搬移组态与诠释数据(Metadata)就非常困难了。

再讲到兼容性，那更是整合上最痛头的问题之一。整合工作负载的本质会最终决定使用者会选择哪一台主机，并判定当下混合云是否可行。即使对最老练的云端技术人员来说，想对能用来搬移处理程序的样式与工具进行了解仍是很大的挑战。再者，将传统既有系统与云端运算加以整合也是复杂到不行的棘手任务，更别说想打造一个可以管理整合工作的基础设施就更复杂了，因为它会涉及数以百计的应用程序及服务。

除了混合云外，企业为了降低对单一云端服务的依赖性，再加上当前充斥着从基础设施、开发环境、应用服务，到数据仓储、大数据分析及AI等各式各样、应有尽有的不同类型云端服务，多云端(Multi-Cloud)也成为许多企业里的常见架构。多云端与混合云架构不尽相同，前着指的是多种云端运算与云端储存服务在单一异质架构中的使用而言，它通常包含两个以上的公有云端以及私有云端；后者则是公有云端与私有云端的组合，其为不同实体的相互绑定，具备多种部署模型的优点。

不论混合云或多云端架构，企业必须解决如同前述之不同云端间的整合问题与协同作业问题。以往，企业可能会面临同一专案作业在不同云端间的数据整合、协同与效能问题。因此之故，如何让多云端/混合云端架构下能拥有更有效率、更加一致的应用体验、使用速度/效能、使用界面/版本，乃至应用与数据的兼容性及互操作性遂成为当务之急。

事实上，当前已有许多运算、储存及网络基础设施服务商开始与各家公有云端服务供应商合作，将各种最佳化的基础设施与特定功能——例如Pure Storage提供一种可以优化多云端架构下储存、分享、数据分析的基础设施——整合到各大公有云端服务中，使用者可根据自身的预算与需求，在新/已采用的公有云端服务中勾选想要优化的功能，便可快速方便地解决以往多云端/混合云端架构下的整合问题与协同作业问题。

从数据导向进化成以数据为中心模式

不论是过去的数据库，还是因应大数据时代的数据湖(Data Lake)或数据仓储，莫不以数据为中心，再再说明了数据一直在企业营运上扮演着举足轻重的角色。

随着大数据时代的到来，许多解决方案商开始强调「数据导向」(Data-Driven)决策的概念及重要性，为了达到更佳的数据品质并筛选出更有价值的数据，以供主事者做出最完美的决策，企业被要求必须将各种蒐集到的数据加以处理与分析以萃取出洞见，但实际能真正完美达成的企业并不多。

原因在于以往企业的基础架构皆以应用程序导向(Application-Driven)为设计核心，许多大数据方案商所强调的数据导向决策概念，反而助长了每个应用程序皆有自己专属数据的发展趋势。换言之，每个应用程序都只会搜集并储存自己所需的数据，进而造成新的大数据孤井(Silo)。如此一来，其根本无法实现原本数据导向决策概念所希望实现的「将数据置于企业文化核心」目标，反而只是将数据置于企业IT系统的核心上。想在应用程序导向架构下运用数据，必须经过繁杂的复制、迁移、转换等作业，企业将失去实时回应瞬息万变之外部环境与趋势的能力与良机。

为了解决这个难题，当前遂有像是Pure Storage等厂商提出「以数据为中心」概念的呼吁，以彻底打破应用程序各有专属数据，甚至产品及供应商各有专属数据的数据孤井及隔阂状况。进一步而言，在该概念的加持下，企业必须建立能将所有数据整合在一起的单一数据模型，并透过可管理与整合的数据与程序来确保数据的准确性、完整性与实时性，如此才能完美实时地拟定出能因应各种关键趋势与需求的决策。

有感于大数据已不只是口号，DIGITIMES特于7月11日(四)假台北喜来登饭店举办「云端大数据论坛」，邀请到以大数据决策行销闻名的夏雨农担任Keynote讲师，并有第一线、IBM、Mellanox、HENNGE、Pure storage...等服务供应商发表最新方案，以及零售、运输、智能工厂等新创案例分享，欢迎一同掌握大数据，即速报名请点阅活动网址。