DForum
断链之后
 

云端数据运算专辑

大数据上云 打造智能应用与决策的捷径

Google大数据资料分析服务。Google Cloud

随著大数据与物联网时代的到来,大数据分析已经成为企业发掘商业价值、实时回应市场需求,并发展各种能成就更高价值之AI与智能应用的关键。为了降低技术门槛、成本及维护负荷,并蜕变成为「以资料为中心」(Data-Centric)的企业,大数据分析已经成为不可逆的趋势与最佳解决方案。

长久以来,为了维护并发挥资料价值,企业历经了自建资料库、自建资料仓储等不同阶段。随著大数据蔚为趋势,传统自建方案开始在成本、弹性度、可扩展性,甚至安全性上捉襟见肘,这些因素与愈滚愈大的大数据迫使企业走上选择云端资料仓储方案(Data Warehouse)/大数据分析云端服务的路子,如此一来,企业才能从中萃取出符合自身长远发展利益的商业价值与智能。

 点击图片放大观看

多云端架构示意图。Rick's Cloud

如今市面上大数据分析云端服务早已成为热门显学,包括Google BigQuery、IBM DB2 Warehouse on Cloud、Oracle Autonomous Data Warehouse Cloud、Microsoft Azure SQL Data Warehouse及Amazon Redshift Cloud Data Warehouse。其中,Google及微软方案更支持无服务器(Serverless)运算架构,让企业更无后顾之忧——完全不用在乎基础设施的管理或扩充问题,也不需建立管理Hadoop/Spark丛集的团队——完全专注在大数据分析、商业价值与洞见萃取,乃至AI训练与智能应用开发等关键面向上。

多云及混合云集成挑战

随著资料量的不断爆增,企业自建资料仓储的经济效益愈来愈低,公有云端为此提供了兼具成本、可扩展性与效率的最佳解决之道。但对企业来说,其只会将非敏感性大数据放到云端资料仓储之中,并透过公有云端大数据分析来进行分析。但敏感性资料,大部分企业仍会储存在自家私有云端里。

于是乎如何成功地将私有云与公有云集成在一起,便成为需要被有效解决以协助建立混合云端基础架构的最大问题之一。毕竟集成多种云端服务所需要的技术技能与含量非常高,虽然在云端之间传输一般应用程序非常容易,但想要跨环境地搬移组态与诠释资料(Metadata)就非常困难了。

再讲到兼容性,那更是集成上最痛头的问题之一。集成工作负载的本质会最终决定使用者会选择哪里一台主机,并判定当下混合云是否可行。即使对最老练的云端技术人员来说,想对能用来搬移处理程序的样式与工具进行了解仍是很大的挑战。再者,将传统既有系统与云端运算加以集成也是复杂到不行的棘手任务,更别说想打造一个可以管理集成工作的基础设施就更复杂了,因为它会涉及数以百计的应用程序及服务。

除了混合云外,企业为了降低对单一云端服务的依赖性,再加上当前充斥著从基础设施、开发环境、应用服务,到资料仓储、大数据分析及AI等各式各样、应有尽有的不同类型云端服务,多云端(Multi-Cloud)也成为许多企业里的常见架构。多云端与混合云架构不尽相同,前著指的是多种云端运算与云端储存服务在单一异质架构中的使用而言,它通常包含两个以上的公有云端以及私有云端;后者则是公有云端与私有云端的组合,其为不同实体的相互绑定,具备多种部署模型的优点。

不论混合云或多云端架构,企业必须解决如同前述之不同云端间的集成问题与协同作业问题。以往,企业可能会面临同一专案作业在不同云端间的资料集成、协同与效能问题。因此之故,如何让多云端/混合云端架构下能拥有更有效率、更加一致的应用体验、使用速度/效能、使用接口/版本,乃至应用与资料的兼容性及互操作性遂成为当务之急。

事实上,当前已有许多运算、储存及网络基础设施服务商开始与各家公有云端服务供应商合作,将各种最佳化的基础设施与特定功能——例如Pure Storage提供一种可以优化多云端架构下储存、分享、资料分析的基础设施——集成到各大公有云端服务中,使用者可根据自身的预算与需求,在新/已采用的公有云端服务中勾选想要优化的功能,便可快速方便地解决以往多云端/混合云端架构下的集成问题与协同作业问题。

从资料导向进化成以资料为中心模式

不论是过去的资料库,还是因应大数据时代的资料湖(Data Lake)或资料仓储,莫不以资料为中心,再再说明了资料一直在企业营运上扮演著举足轻重的角色。

随著大数据时代的到来,许多解决方案商开始强调「资料导向」(Data-Driven)决策的概念及重要性,为了达到更佳的资料质量并筛选出更有价值的资料,以供主事者做出最完美的决策,企业被要求必须将各种搜集到的资料加以处理与分析以萃取出洞见,但实际能真正完美达成的企业并不多。

原因在于以往企业的基础架构皆以应用程序导向(Application-Driven)为设计核心,许多大数据方案商所强调的资料导向决策概念,反而助长了每个应用程序皆有自己专属资料的发展趋势。换言之,每个应用程序都只会搜集并储存自己所需的资料,进而造成新的大数据孤井(Silo)。如此一来,其根本无法实现原本资料导向决策概念所希望实现的「将资料置于企业文化核心」目标,反而只是将资料置于企业IT系统的核心上。想在应用程序导向架构下运用资料,必须经过繁杂的复制、迁移、转换等作业,企业将失去实时回应瞬息万变之外部环境与趋势的能力与良机。

为了解决这个难题,当前遂有象是Pure Storage等厂商提出「以资料为中心」概念的呼吁,以彻底打破应用程序各有专属资料,甚至产品及供应商各有专属资料的资料孤井及隔阂状况。进一步而言,在该概念的加持下,企业必须建立能将所有资料集成在一起的单一资料模型,并透过可管理与集成的资料与程序来确保资料的准确性、完整性与实时性,如此才能完美实时地拟定出能因应各种关键趋势与需求的决策。

有感于大数据已不只是口号,DIGITIMES特于7月11日(四)假台北喜来登饭店举办「云端大数据论坛」,邀请到以大数据决策营销闻名的夏雨农担任Keynote讲师,并有第一线、IBM、Mellanox、HENNGE、Pure storage...等服务供应商发表最新方案,以及零售、运输、智能工厂等新创案例分享,欢迎一同掌握大数据,即速报名请点阅活动网址

  •     按赞加入DIGITIMES智能应用粉丝团
更多关键字报导: 云端服务 大数据分析