新闻热线:010-63691890 投稿邮箱:cehsds@126.com

段效亮: 企业主数据中心管理与实践(五)

中国经济导报、中国发展网记者  尹明波

段效亮,中国企业数据治理联盟秘书长,国际数据管理协会会员,中翰软件创始人之一。作为国内数据治理领域资深咨询专家,段效亮拥有15年以上IT行业从业经验,12年以上数据管理咨询、平台实施、数据保养等实战经验,参与并主持中国中铁、国家核电、天保控股、青钢集团、康尼集团等几十家国内大型企业集团的数据治理项目。

段效亮还独创国内及数据治理行业内多个第一:国内首推主数据管理平台、企业数据治理平台,物资数据清洗,静态数据中心管理 ,数据协同维护管理,数据多编码体系管理,数据规划管理,数据保养等理念和方案。

段效亮领衔的中翰软件,从2012年初开始联合已经实施主数据平台的相关企业进行了深入的探究,最终提出“主数据中心”的概念和主数据动态问题的解决方案。中国发展网近期连续六期刊发这位业内“大咖”对企业数据治理中主数据中心管理与实践的认识、见解和相关建议,试图为企业数据治理领域的研究发展以及应用辅以参考借鉴。

第四章  企业主数据治理

第五节  主数据治理过程

从以上主数据治理路线图7、图8中可以看出,企业主数据治理可以划分出两个部分,即数据管理体系咨询(数据环境治理)部分和数据管理体系落地(含落地后)两大部分。之所以这样分估计大家也能感觉到,那就是数据管理体系咨询部分是主数据治理项目很重要也很繁琐的一部分,到了可落地的部分也说明我们的项目已经进展了50%以上了。回头再看一下我们数据质量出现问题的主要原因也是数据管理体系的不规范甚至是混乱导致数据管理过程中的执行不可控造成的,本着治病要除根的原则,我们首先看数据管理体系咨询(数据环境治理)部分的详细过程。

4.5.1  主数据治理项目调研分析

1. 调研原则

2. 调研方法

3. 调研内容

4. 调研涉及数据类型及管理部门

5. 差距分析

差距分析数据治理项目中非常关键的一个环节,只有非常清楚的分清目前企业数据质量的差距才能最有效的解决数据质量中的相关问题,也才能使数据治理项目化繁为简直到成功。

我们在企业实际的数据治理项目中的针对数据编码问题的真实调研结果显示,虽然数据编码的质量只是数据质量的一部分,但是还是可以很清楚的感受到目前企业数据质量问题的严重性,同时可以看到业务部门对数据质量管理的诉求,通过这些我们是不是可以很轻松的找到我们想要的差距分析呢?答案是肯定的,当然需要结合数据治理厂商的经验。

6. 框定数据治理范围

1)  确定数据治理宽度,明确顺序

为了更好的解决企业的数据质量问题,必须统筹规划且从科学的角度拟定一个合理的治理计划,这样就需要梳理出数据治理的轻重缓急,明确治理的先后顺序。根据我们的经验,一般有三种情况较多。

一期先从人员和组织机构开始,等时机成熟再逐步拓展实施;一期把范围适当扩展到物资数据、客商数据、人员数据、组织机构等,剩余部分等时机成熟再逐步拓展实施;一次性进行企业相关数据的全部治理,这需要企业的管理力度够大,执行力够强,这样的项目近两年也经常出现,毕竟数据质量问题的严重后果无法让企业再多等待。

2)  确定数据治理深度

关于数据治理的深度问题,这也是目前企业数据治理中的难点之一。因为目前大家接触到的所谓的数据治理厂商,基本分三个层次(具体划分详见5.6.2章节内容),这三个层次也决定了数据治理深度的大不相同,具体缘由不再赘述。但是考虑到主数据的动态特性,我一直建议企业进行主数据中心的管理。

4.5.2  主数据环境治理

企业数据标准化管理体系应该包括:

主数据中心管理体系;主数据中心数据质量管理体系;主数据中心数据安全管理体系;主数据中心数据交换管理体系。

企业的主数据中心管理体系包括:

数据管理组织、制度,流程;主数据中心数据模型;主数据中心验证管理体系;主数据中心数据管理权限体系。

1. 主数据中心管理组织、制度和流程规划过程

制定数据编码管理办法、组织机构、人员、物资、客商等主数据的维护细则及相关管理制度,保证运维的高效性和资源共享,统一的管理体系为企业数据治理平台做了强有力的支撑。

1) 把握原则

2) 策略步骤

3) 主数据中心管理组织举例

由企业及各下属公司主数据管理组织组成,在企业数据标准化委员会门领导下开展工作。企业总部主数据管理组织由数据标准化委员会领导小组、工作小组(申请、审核小组和专家团队)组成。各下属公司主数据管理组织由申请人、专业审核人组成。

数据标准化管理委员会是数据标准制订及数据管理的归口管理机构,各岗位的主要职责为:

标准委员会领导小组(主任、副主任及数据相关的部门、公司、项目部负责人)

负责数据标准化管理的全面工作,协调解决工作中出现的相关问题;组织起草、修订企业数据相关管理办法。

标准委员会工作小组(审核组、专家组)

负责数据标准管理,协调解决数据标准及运维管理相关问题;负责数据标准的制定以及修订工作,定期组织企业专家组就数据分类体系进行讨论,完善数据标准,定期清理系统中不合格的数据。

审核各部门、分子公司提交的数据新增申请,并对合格的数据进行数据分发。

审核数据分类及属性维护申请、数据基础数据修改停用申请,通过讨论分析评估维护、修改停用影响,给出合理的解决方案。

2. 主数据中心数据模型体系规划设计过程

1)  主数据中心数据模型包括

编码体系分类体系信息模型体系

2) 主数据中心数据模型设计的原则

数据模型的设计原则元数据模型设计标准

3) 主数据编码原则

唯一性。完整性。准确性。适应性。继承性。拓展性。稳定性。易用性。

4)  数据分类原则

纬度一致。粒度统一。避免其它类。允许多类别结构的存在。

5)  主数据中心信息模型规划设计原则

数据模型的确立一般分三个部分,即‘编码属性’、‘公有属性’和‘私有属性’,‘公有属性’中又分为‘基础数据’和‘业务数据’。其中公有基础数据就是我们传统定义的‘主数据’部分,主数据包含了编码数据,但是为了更清晰的描述此部分数据,一般建议专门建立公有基础数据(主数据)视图进行区别管理。公有业务数据为产生于一个业务系统,但是其他系统需要引用后使用,为了规范管理和避免二次输入的错误出现,公有业务数据也需要单独建立视图进行区别管理。

‘私有属性’分为‘业务系统私有属性’和‘组织机构私有属性’两部分,这里的私有属性全部为基础数据部分,没有业务数据涉及,因为私有的业务数据为业务系统中的交易性动态数据,私有业务数据没有共享性,且变化频率较高,需要在后期的BI或者数据中心中单独管理。

编码属性确立原则

编码属性为确定一条数据的唯一性的基本属性集合,一般建议选择稳定性较强的属性作为某一类数据的编码属性,如供应商类数据一般选择‘机构代码证号’、‘税号’、‘营业执照号码’三个中的任何一个作为编码属性都可。

公有属性(含基础数据和业务数据)确立原则 私有属性(不含业务数据)确立原则

6) 策略步骤

引入外部咨询专家;充分调研企业主数据中心管理体系现状;确定主数据中心管理体系草稿;形成会议讨论机制,最终定稿;企业主数据中心管理体系发布,体系落地。

3. 主数据中心数据验证管理体系规划设计过程

4. 主数据中心数据管理权限体系规划设计过程

5. 企业主数据中心数据质量管理体系建设过程

6. 企业主数据中心数据安全管理体系建设过程

7. 企业主数据中心数据交换管理体系规范建设过程

系统间的数据交换标准包括系统连接方式、数据交互方式、数据信息的传输管理、信息传递的逻辑约束、信息传递的监控,数据交换的维护和异常处理等。并与基础标准、信息代码标准紧密相关。

4.5.3  企业关键指标体系建立

1. 概况

企业关键指标体系(KPI:Key Process Indicators)是从大量统计分析数据和各类指标中,提炼和抽取出能从不同的角度为企业决策者、中层管理者考虑、分析问题而提供数据支持的关键指标,并组成体系。通过建立企业关键指标体系,我们可以为各个管理层次的监控、查询和分析、预测等决策方式提供依据。

本部分是在总体数据规划的基础上,初步给出企业不同层次单位的KPI指标体系,从而梳理出各单位各层次关心的信息重点,即“企业的关键指标体系”,能够反映企业的总体情况和发展变化趋势,主要包括生产指标、安全指标、营销指标、项目管理指标、人力资源指标、财务指标、物流指标等内容。

2. 企业关键指标体系概念和方法

1)  企业关键指标体系的概念

为了客观科学地评价企业总体的经营状况和发展能力,观察企业在激烈的市场竞争中所处的位置,探索提高企业综合实力的途径,需要设计一套科学、完整、能够从全方位、多角度反映企业综合经营能力的指标体系。基于KPI的关键指标体系就是根据企业战略发展目标和综合经营能力而建立的指标体系。如某企业按指标内容划分为:生产指标、安全指标、营销指标、项目管理指标、人力资源指标、财务指标、物流指标等七个部分。

企业关键指标体系就是从大量统计分析数据和各类指标中,提炼和抽取出能从不同的角度、不同的领域为企业决策者、中层管理者考虑、分析问题而提供数据支持的关键指标,并组成体系。

按照一般的规则,指标可以分析归纳成若干个集合项,并组成一个体系。因此,企业关键指标体系的基本结构是:体系-指标集-指标项,即:

关键指标体系={指标集1,指标集2,…, 指标集N}

指标集M={指标项1,指标项2,…,指标项N}

2)  企业关键指标体系的意义

企业关键指标体系可以帮助企业寻找挖掘自身的潜力和提高管理水平和生产能力,通过自身的各类指标与同行业及全国平均水平、先进水平的比较,指导企业挖掘这些潜力变可能为现实,成为企业自我诊断、自我完善的有力工具。

其次,有利于推动企业管理水平的提高。企业关键指标体系涉及企业安全与生产、市场营销、项目管理、人力资源、财务、物资采购等各个方面,企业管理水平的高低,直接影响着竞争力的发挥,通过与本行业内先进水平的比较,找出差距,提高企业自身的管理水平。

再次,可以帮助企业各个管理层次在企业的经营管理中监控、查询和分析、预测等决策提供依据。

3)  构建关键指标体系的方法

体现企业的战略目标关键成功因素企业核心价值链分析

结合关键成功因素和企业的价值链分析,通过调研和总体数据规划,找出影响企业价值链中各项经营活动成功目标的因素和指标,构成企业关键指标体系。

4.5.5  历史数据治理

针对企业目前出现的数据质量问题(数据不一致、不完整、不合规、数据冗余),在数据治理行业有一个专业术语叫‘数据清洗’,所谓的数据清洗一般有两大工作内容:

数据的完善、补充;重复数据的查重、映射。

但是,对应企业不同数据类型的清洗方法也不可一视同仁,否则就会出现越走越偏的现象。另外,数据质量问题是企业多年来由多种原因积累下来的,要想进行完全的数据清洗难度还是比较大的。因此,需要在数据清洗过程前选择合适的清洗工具,选派合适的人员,制定合理的清洗制度、流程、考核机制等。

清洗工具及过程数据清洗后的业务系统处理

4.5.6  数据交换治理

由于企业多年来信息化的不平衡发展,导致目前企业中数据传输的问题已经非常突出,主要表现在数据的多源头、交换规范不一以及数据的平面网状交互结构等,形成了数据孤岛并且造成数据不一致的现象大量存在,对后期的数据分析影响很大。

因此,根据企业信息化的发展方向,我们要把现有的数据交换架构改造成由主数据中心为核心的数据交换架构,完全替换原有ERP为各类数据中转站的传统模式,从根本上实现数据交换的规范、标准和统一。

在这里我再明确一下主数据治理的原则,那就是根据数据类型的不同数据源头可以不同,如物资数据的数据源头一定是主数据中心(企业主数据治理平台),客户数据源头可以是CRM(如有)也可以是主数据中心(企业主数据治理平台),供应商数据源头可以是SRM(如有)也可以是主数据中心(企业主数据治理平台)等。

综上所述,我们的数据交换治理应该是可以同时实现数据的采集和分发两个功能,而不是单一的数据分发功能。要有专业的数据交换平台来支撑,而不是简单的用ESB替代,一定要能够实现前台可视化的自定义配置,因为未来我们信息化的快速发展决定了我们信息系统的频繁变化,如果不能实现简单方便的运维拓展,主数据治理后的运维成本将是制约我们未来信息化发展的一大因素。

4.5.7  日常管控治理

说到数据的日常管控,估计大家会比较亲切,我们所感受的数据问题基本都是在这体现出来的,因此一提到数据的日常管控也是大家最头疼的地方。那么,我们怎么样才能非常好的进行数据日常管控的治理呢?针对这个问题,我们开始仔细的分析一下吧!

其实,数据的日常管控治理应该是我们进行主数据治理的目标之一,我们前边说的数据环境治理、体系落地治理、数据交换治理、历史主数据治理等都是为了未来更好的进行数据的日常管控做准备的,因此,未来数据的日常管控如果能治理好,后边的业务管理以及数据分析等都会很顺畅的走向成功。

另外,所谓的数据日常管控的治理其实也就是把数据的日常管理制度、流程、方式、内容等从不好到好的改变过程。但是,要想进行改变,首先我们要知道现在的不足是什么,我们要达到的目标又是什么,这样才能让我们有的放矢,最终达到完美的结局。

第六节  主数据治理后运维

4.6.1  建立运维体系

随着企业数据治理平台的正式上线运行,数据的管理工作逐步提上日程,因此,如何让治理后的成果延续和拓展成了眼下的首要工作。

企业数据标准化管理运维体系应该包括:数据标准化管理运维组织、运维制度、运维流程、数据治理知识库以及企业数据治理平台。具体运维体系架构如下图:

5cf715417e28b

图4-23  运维体系架构图

4.6.2  明确运维团队

说到运维团队,其实在数据治理项目实施前期,我们建立的数据标准化管理组织已经包括了数据运维团队,但是当时没有进行详细的描述。

数据标准化运维组织:负责标准数据建设、发布、业务内容审核、运维和应用支持等工作。

4.6.3  理顺运维流程

1. 数据分类及属性维护流程

2. 数据新增、审核流程

4.6.4  确定运维方法

根据数据标准化管理体系要求,规范数据标准规范的制定、修订、发布、实施、运维和应用工作,强化数据标准统一管理与应用,提高数据标准规范的编制质量和应用水平。

1. 数据的全生命周期管理,从代码的标准化,主数据的规范化,主数据应用的一致性全面推进数据的全生周期管理;

2. 一站式数据标准化服务支持,从需求整理,项目建设,应用系统运行等各个阶段提供数据标准化咨询、 实施和支持等各项服务;

3. 动态复用团队的队伍建设,通过内部交流、知识库的建立和人员复用的培养,逐步建立一个动态复用的数据标准化服务支持团队,提供高效的数据标准化服务支持。

发展改革·区域聚焦

山东东平发改局精准策划全力争取,助力人才项目创新发展
山东青州:扎实推动服务业优质高效发展
山东金乡发改局召开2024年第一季度违纪违规典型案例通报会
济南市发展改革委紧急部署央行技术改造再贷款项目申报工作
山东省鄄城县发改局开展2024年保密宣传教育月活动
泰安市发改委主要负责同志到市委党校作专题辅导报告
山东省青州市扎实推动城镇化建设省级试点
山东禹城:用绿色低碳铺就高质量发展底色

绿色能源

山东东平县发展和改革局扎实做好森林防火工作确保电网安全
破解充电“五难题” 山东枣庄持续优化电力营商环境
以“新”赋能新质生产力,大唐山东发电公司首季旗开得胜
山东泗水:“双轮驱动”趟出新能源汽车充电桩建设“新路子”
山东日照:“早、简、快、好”全力保障重大项目用电
山东临沂:建成投运全市首个建筑光伏一体化项目
山东平阴县发改局消除电力隐患,筑牢安全防线
山东商河县发改局开展一季度安全生产监督检查工作

齐鲁粮油

烟台市牟平区:管好用好专项资金,促进区粮食事业更好发展
“齐鲁粮油”走进肥城桃花节暨山东煎饼拼食展成功举办
山东平阴县发改局开展2024年夏粮产购调查工作
2023年山东粮食总产量达1131亿斤,连续3年超1100亿斤
山东成品粮储备库存超24万吨,设立应急加工企业316家
潍坊市发改委组织召开粮食和物资储备工作会议
济南召开全市粮食工作会议,排部署2024年粮食重点工作
烟台市牟平区发改局开展粮食安全生产专项行动

价格调控·价格服务

山东东平发改局组织开展五一前旅游市场价格巡查工作
山东鸿瑞价格评估:提升竞争力吸引力,推动行业健康发展
山东寿光:多举措做好五一劳动节暨菜博会期间价格监测工作
济南市长清区3月份市场主要农副产品价格总体稳中有降
上周日照蔬果市场价格稳中有降
4月15日青岛重要民生商品销售平稳,价格稳定
山东鲁伟保险公估:坚守本心,争做行业模范践行者
国家发改委价格监测中心调研德州市畜禽养殖情况

价格监测

发展视觉