商业智能系统建置成功的要素
很多企业想做商业智能(Business Intelligence;BI),却不知道该怎麽做。2000年就开始接触BI的耐特普罗信息技术总监吴承谕指出,企业必须对于BI要有正确的认识,如绝大多数的BI并不会自己产生数据,而是从各个系统来源蒐集数据,可能是档案交换、网络上的XML档案,或是其他AP介接过来。
吴承谕指出,在一个BI完整的架构中,会有一个数据库,而因为不同的产业需求而有不同的模型,且因为使用者无法直接使用后端数据库,必须要有前端展现应用系统搭配,包括统计报表、决策支持、枢纽分析、战情报告等,才能将后端的数据顺利送至前端,产生使用者真正需要的信息,
但是,不是有了数据,就能够就拥有信息,因为数据蒐集回来,包括顺序、品质都可能有问题,如果不能适时修正,所产生的信息一样不正确,也就是所谓的「Garbage In Garbage Out」。
因此,吴承谕认为,企业有必要建置独立BI系统,因为「应用不同」。吴承谕表示,数据库可以分为OLTP(交易型)如ERP,强调的是反应时间,一次处理的数据量并不大;BI则属于OLAP(分析型),数据量通常相当大,但对于反应时间的要求就不高。
前述两种数据库的特性,自然就会影响前端应用系统的效能,为了避免影响前端系统效能,数据必须整合在相同位置后,才能进行分析,BI系统数据库也才能进行优化,执行效能会比在OLTP数据库上执行来得更好。
一般而言,BI系统的建置可以分为五个阶段,分别是确认及记录需求的「需求阶段」、了解数据、架构、模型设计及数据对应的「规划阶段」、作业开发、流程设计及数据验证的「建置阶段」、批次作业执行、数据品质监控的「上线阶段」及日常维运、异常处理机制及快速反应需求变更的「维运/变更阶段」。
吴承谕指出,很多企业以为只要系统上线,专案就结束了,反而忽略维运及变更。但BI与其他系统的差别,就在于系统建置并非上线就结束了,因为BI的主要价值就是能够因应市场的变化,提供适当的信息,然而现今市场瞬息万变,因此BI必须不断的变动,如何快速且实时的变动,或是异常处理,都是BI上线之后,必须不断要求的地方。
吴承谕认为,BI建置要成功,要注意七大要素。第一个是做好元数据(Metadata)管理。元数据是指用来描述数据/系统/定义的说明,更是做好信息治理(Information Governance)的基础。吴承谕强调,除了数据系统本身外,应用系统的元数据,也必须纳入管理,包括系统/服务/程序层级描述信息。
数据字典的建置也很重要,因为不同人员的描述信息,可能会相当抽象,如果没有一致性的沟通基础,随着信息系统的建置及修改,信息不一致的问题会更严重,唯有透过建置数据字典,管理抽象信息,才能做好信息治理。
第二个是了解你所处理的数据,因为BI既然是对已存在的数据进行收集与分析应用,所以一定要知道数据格式的样貌,一旦数据格式与预期认知不同,就得进行修正。
吴承谕指出,通常数据格式会与预期认同出现不同的原因,包括系统需求变更、文件遗漏或未更新及不同系统来源,因此建置BI一定要做好数据剖析,包括检查数据内容是否与元数据中所定义描述的一致、找出是否有遗漏值、可能的内定值、无效值的存在,并检查内容格式是否有不一致的状况,将问题准备好,再去询问相关业务的负责人员,才能建置出有效的BI系统。
第三个是选择开发工具,有些企业认为只要让工程师写程序开发即可,但吴承谕指出,随着系统日趋复杂,采用人力成本会大于工具购置成本,如用人力开发往往会因为人力流动,而导致作业程序不易维持一致标准,技术交接也比较困难,更因此容易产生网安漏洞,导致开发速度及执行效能因此降低,造成后续修改成本提高,进而造成人力开发的整体开发费用,要比工具建置来得高。
第四个是基础架构建置方式,必须涵盖End-to-End作业流程控管,从来源数据汇整作业,一直到前端报表产生作业,都必须注意到,如报表产生笔数如果过少,就算信息正确,也不见得能适度发挥BI系统的价值。
第五个是数据品质清理与监控,包括预防提供错误信息、避免产生昂贵错误,及如何强化数据清理能力等。吴承谕强调,对于来源数据品质监控程序,必须持续性进行,除了从数据的来源,来发现数据格式的错误,也要针对产生的信息进行监控。
第六个是批次作业与异常处理机制,吴承谕指出,根据Gartner统计,有70%的信息是透过批次作业产生,而复杂的BI系统往往会有2000~3000个批次作业,IT人员必须考虑的因素很多,包括如何在异常发生时通知负责人员、如何有效监控作业执行状况、如何规划良好的批次作业执行机制、作业分散在多台机器上的协同控制机制及重新执行作业时的权限控管与稽核机制等。
最后,也是吴承谕认为企业常常忽略的,就是长期维运规划,因为开发人员及维运人员的任务其实不同,开发人员重视的是如何快速反应需求变更与降低维运人力成本,维运管理却比较重视如何提供简易有效的系统监控界面给维运人员。因此,吴承谕建议,企业应该设法寻求一个兼具开发与维运的平台,可大幅降低建置及维运成本。