掌握关键技术 解决云端存储挑战

关贸网络 技术长 史素珍

由于云端运算具有随需自助服务、资源集中化供应、快速调整的弹性、透过网络由线上存取及能够量化的服务…等特性，让人们能够依照其本身的需求，以投入最少管理工作量的方式，即可藉由网络快速且方便地存取包括网络、服务器、存储空间、应用系统…等电脑资源，不受时间、地点及装置的限制，享受各种多样化的服务，因此近来年广泛受到企业的欢迎。根据BITNAMI等多家单位的调查结果显示，2011年完全没有导入云端运算计划的企业仅有20%的比例，而在其余80%的企业之中，则分别有61%、54%及53%是由于系统扩展、全面节省成本及易于管理…等理由而导入云端运算环境。

在台湾长期从事B2B电子商务及提供ASP服务的关贸网络，自然也不会忽视此股庞大的市场商机，其技术长史素珍对此表示，该公司以既有的B2B商业模式典范为基础，除提供客户底层共通基础的服务器、操作系统…等IT运算资源之外，依据特定目标用户群的需求，关贸网络也整合了各项不同的应用系统及中介软件平台，将其发展成个别特用的Community Cloud环境，使目标企业能够藉由使用其中的SaaS服务，快速迈入云端运算时代。「在这云端服务的发展过程中，我们采取了结合ISV共同开发企业营所需的软件套件、订定产业服务整合API标准、提供跨云服务介接及整合用户端装置以支持云应用服务…等多项策略。」史素珍认为，执行这些策略最终目的，是希望能透过将服务延伸至云端的方式，让中小企业的竞争力获得有效提升。

不过要实践上述策略，有一些云端运算的关键技术必须要予以掌握。史素珍表示，由于云端运算环境中的IT资源往往分散于各地区，其组成及运作方式不仅要比传统架构更为复杂，再加上因为需要提供众多租户服务所产生的巨量数据，而每个租户对于IT环境及使用需求状况都不尽相同，因此如何在以有限资源提供每个租户应有服务水准的前提下，透过标准化方式快速部署及增云端环境，依照需求状况有效管理、调度各项IT资源，确保数据的安全及平台可用性，让用户彼此之间不会互相干扰，以及对租户进行适当的授权管理与使用量计费，即成为云端服务业者急待解决的课题。「这也使得多租户、分散式/平行运算、信息传输与分散式存储…等技术的重要程度越来越高。」

以关贸网络近两年所建置，可协助企业及消费者进行电子发票交换、存放，以及能透过不同载具进行查询、浏览的二代电子发票云平台为例子，受到其长期存证数据快速大量累积的影响，该云端平台环境预计每日就要处理高达1,100万笔数据，合计一年便要处理40亿张。「因此如何提高其整体作业效能及数据安全性可说变得十分重要。」史素珍表示，对此关贸网络利用了分析可被平行处理工作的手段，将执行作业进行持续的分割，以求大幅缩短每单笔工作所需的作业时间，并再利用合理分配工作、改善CPU效能以分散作业瓶颈…等方式，让该云端平台的执行效能获得显着的提升。

举其「归户处理架构」的处理程做说明，假设现有1,000张发票需要进行归户统计，归户处理架构平台会依据某些事先制定好的规则与政策(如发票的末三号码)，将这些需要处理发票都先一一进行分割，以便对应到后续的归户主机进行处理，至于相关处理的主机则可视当时作业执行的状况，动态地将计算资源进行的适当调配，以求加速整体作业的完成，「最后我们可将各个处理完成的归户数据合并起来进行累积统计，再把最终执行结果存储到系统数据库内，以便供后续人们查询及加值利用。」史素珍说，透过此一方法，该二代电子发票云平台每年处理的电子发票数量自2007年起，即由原先的1,794万张，至2011年提升至1亿9,817万张，商店数也成长至12,384家，4年内约增长了10倍。

另一方面，面对现在大量产生的电子化商业文件长期累积所衍伸出的保存、调阅及法律纠纷举证…等需求，关贸网络也发展了一套商业文件云端存证中心来提供相关的服务。「人们现在可将电子合约、保单、电子发票…等各项商业文件存证存放在云端环境内，待有需要时再进行检索调阅，或透过网络与他人分享。」不过要提供这类型的服务，必须要以十分庞大的运算能力及用户数据存储空间为基础才有可能达成，因此为了让开发人员不用考虑云端环境中数据实际应如何存储、运算应如何切割…等问题，关贸网络在其云端存证架构上采用了HDFS档案系统、Hadoop Map Reduce模式及HBase数据库系统来进行数据与运算的管理，以求加快平台开发的速度，而且无需再担心服务开发以外的状况。