企业数据治理的重点和难点
大数据是信息经济时代的必然产物,无论新闻电视还是网络媒体,每天都会有大数据成果的相关报道。作为普通消费者,深切体会大数据无所不在的魅力,当你打开淘宝或京东,你就会发现一堆浏览过的商品推荐给了你,这是利用消费者心理学、消费者行为学构建的数据模型在起作用,那么企业B2B业务是否也可以这么做呢?企业期望利用大数据提升市场洞察、挖掘内部潜力、提高销售收入,显然建模难度要大的多。本文先不谈建模的方法和工具,根据中翰软件数据治理是多年的经验,我们先来说一下大数据基础的基础:主数据治理。
数据治理
数据,也称基础数据,是可以被重复使用到业务单据中的数据,如客户、供应商、产品、物资、员工等。主数据治理就是将不规范的数据进行规范,不完善的数据进行完善,删除重复的数据,保证一物一码,说起来简单,实际做起来并不轻松,按照中翰软件在行业内的经验,我们总结了重点和难点,供大家学习和交流。
第一步:确定主数据对象范围
在茫茫数据大海中,首先要识别主数据和业务数据,通常意义上讲,数据分为基础数据、主数据、条件数据、事务型数据、结果型数据和报表数据,识别主数据的标准为是否最终用户使用、数据的稳定性、数据被重复使用或参考的频率等。
明确了主数据对象,以及其应用的业务范围和系统范围后,主数据对象范围基本确定。
第二步:修订数据标准规范
很多企业在确定要建设主数据管理平台时,在企业内部的主数据管理领域是一穷二白,都是期望拿到同行业企业的资料做参考后形成企业的标准规范。这种做法肯定是一条捷径,但需要吃透后再搬就会更加合理,否则容易造成表面上很光鲜,实际应用后可能水土不服。
中翰软件认为:在该阶段,最大的捷径是在企业内部明确各个主数据对象的专家,由专家牵头,相关部门配合来梳理数据标准和制定主数据标准规范。在这方面,中翰软件从事数据治理行业十多年,有丰富的项目经验以及管理经验。主数据的标注规范一般包括主数据对象的数据字典、数据分类、数据编码规则、数据描述规则,确定主数据对象的完整性规则(必输、可选、隐藏、显示)、主数据对象的唯一性规则(确保一物一码)、主数据对象的规范性规则(确定每一个输入框的值符合标准规范)。
物资主数据是非常特殊的一类,一般情况下物资需要分大类、中类、小类和品名,不同的类别、代表物资固有属性的字段也不相同,所以需要在明确分类的同时,也需要明确每一类物资下应有的属性描述和属性值范围,这是主数据标准规范制定中最大的难点。
第三步:确定主数据维护流程
主数据维护流程一般定义为主数据新建流程、主数据修改流程、主数据冻结/解冻流程、主数据归档流程。为何要使用流程呢?因为不论是否搭建主数据管理系统(MDM系统),主数据都是由使用者提需求,相关部门做审核控制后编码。
只要是系统能够控制的,就不应该由人来做控制,所以在主数据流程讨论以及编制的流程文档中,需要把每一个流程中系统的控制点、默认值设定、推导值设定、唯一性校验等都需要体现出来。
第四步:历史主数据清洗
一般企业都是在实施完ERP、MES等经营、生产相关的系统之后,才开始想到要做主数据统一管理平台,因为各个系统之间的数据都是各自为战,即使在设计时是统一的,但使用一段时间之后必然成为数据孤岛。
数据清理的最大难点是人的问题,需要抽调大量的人力将不符合规范要求的数据洗白,从而符合主数据管理标准规范的要求。那么,是否一定要这么做呢?答案是肯定的,唯一可以减少工作量的技巧就是对几年之内没有发生过业务的主数据不清理,这些主数据在经营或生产系统中不允许做业务,如果将来该主数据要发生,那么需要先修改成符合标准规范的数据后,再允许做业务。
第五步:主数据应用跟踪和分析
在企业经营管理上,没有管理者会去关心主数据应用的怎么样,他们主要关心的是销售额是否可以提升、新市场开拓的如何、成本控制的结果怎么样等分析数据。但在主数据管理部门,他们更关心的是主数据质量,包括采标率、活跃度、申请质量、应用质量、编码效率等,这是确保主数据高质量运行的有效抓手,构成了主数据申请、主数据监控和主数据清洗的全生命周期闭环。
对主数据采标率的分析,可以逐步清理干净非采标数据;对活跃度的分析,可以定期清理非动态的主数据;对数据编码进度的监控,可以提高编码效率;对数据应用质量的监控,可以确保在主数据标准规范调整后(唯一性、完整性和规范性)的数据清洗。(山东中翰软件有限公司)