商业智能绩效的关键 ─ 数据品质管理
随着产业环境变动与竞争日趋激烈,企业的营运与IT应用系统也必须快速因应。对于企业IT后端整合之商业智能系统,不但于建置期需耗费大部分时间了解数据需求及筛选/取得数据,而于上线后维运时期也必须持续确保前端数据源汇入之正确性,否则数据品质低落将导致商业智能系统产出偏差结果,甚至「Garbage-in,garbage-out」。
商业智能专业厂商耐特普罗信息(股)公司的技术长吴承谕先生指出:「在信息的规划、取得或产出、存储并分享、维护、应用、抛弃或删除的生命周期中,有一个关键,就是数据品质的维护成为信息是否仍具价值的重要因素!因此商业智能系统必须包含Profiling/Auditing/Cleansing/Quality Monitoring的数据品质管理循环。」数据品质管理说明如下。
数据现况描述(Data Profiling)
包含一、了解数据需求(依商业需求为何,进行了解数据位置、格式、规格栏位等)及存取方式;二、分析信息的操作环境,以建立数据撷取并评估数据品质的计划;三、评估数据品质(重复性、易用性以及可维护性、在整体数据库的涵盖幅度、与商业行为的互动程度等)与影响层面(存储空间、硬件/网络的负载、现有数据产出流程的影响等)。
数据稽核(Data Auditing)
包含一、针对不符规则的数据,找出根因;二、依找到的问题,研拟改善计划(更新原有的数据规则,或是修改前端应用系统等)。
数据清理(Data Cleansing)
根据前述步骤所找出的问题和解决方案,清理出不合规则的数据,交由数据的拥有者(Owner)决定处理方式。
数据品质持续监控(Data Quality Monitoring)
设计控制机制(监控规则、定期报告等),持续监控数据品质。
耐特普罗推出的Trinity数据整合平台,提供了数据品质管理模块,用以达成上述的管理循环。该公司研发主管谢镇泽先生表示:「要维系商业智能系统的绩效,除了专职的工作团队之外,导入Trinity数据品质管理模块,让其能够轻松的执行数据监控的作业,随时保持数据的纯净度,才能提高所有报表及分析的可用度和可靠度。」