新闻热线:010-63691890 投稿邮箱:cehsds@126.com

段效亮: 企业主数据中心管理与实践(四)

中国经济导报、中国发展网记者  尹明波

段效亮,中国企业数据治理联盟秘书长,国际数据管理协会会员,中翰软件创始人之一。作为国内数据治理领域资深咨询专家,段效亮拥有15年以上IT行业从业经验,12年以上数据管理咨询、平台实施、数据保养等实战经验,参与并主持中国中铁、国家核电、天保控股、青钢集团、康尼集团等几十家国内大型企业集团的数据治理项目。

段效亮还独创国内及数据治理行业内多个第一:国内首推主数据管理平台、企业数据治理平台,物资数据清洗,静态数据中心管理 ,数据协同维护管理,数据多编码体系管理,数据规划管理,数据保养等理念和方案。

段效亮领衔的中翰软件,从2012年初开始联合已经实施主数据平台的相关企业进行了深入的探究,最终提出“主数据中心”的概念和主数据动态问题的解决方案。中国发展网近期连续六期刊发这位业内“大咖”对企业数据治理中主数据中心管理与实践的认识、见解和相关建议,试图为企业数据治理领域的研究发展以及应用辅以参考借鉴。

第四章  企业主数据治理

一、目前有效管理主数据的方法

目前随着企业信息化程度的不断提高,各类应用系统同时并存并支撑着企业的业务应用,主数据不能有效的统一管理,数据管理现状中的问题已经严重影响到企业的正常发展。

发达国家的一些企业,在上世纪70年代中至80年代初的计算机应用协同开发工作中,已经遇到过包括”信息孤岛”问题在内的“数据处理危机”问题。当前在许多企业中,所谓的信息系统实际上是一些互不关联的数据结构(数据文件和应用数据库)和一些程序的堆砌。这类信息系统已变成一张难解的、充满冗余数据存储的复杂大网。由于每个应用所存储、变换的冗余或重叠的数据近近交织在一起,要修改或扩充这样系统的任何部分,都是十分困难和代价高昂的。

事实上,那些期望通过建立数据接口来实现系统集成的企业,也只是一种期望而已,可能5-10年过去了,仍然无法很好的解决系统集成的问题,而由此造成的数据环境的混乱却越来越严重。

很多企业对于主数据的收集、整理和维护目前还只是停留在数据仓库阶段,通过ETL技术将数据整合在一起,再通过前端应用分析实现主数据的共享。在现有的数据仓库系统中管理这些主数据必然存在先天的缺陷,如数据整合难度大,数据规范性差、准确度差,数据仓库中存在大量的冗余数据等。但相对而言,这种不完整的方法对系统的重新开发效率要高,也适合企业在过渡阶段的使用。

但是,从治病的角度来讲,大家希望的都是治本。企业数据治理如何也能达到治本的效果呢?那就是我们首先要明确数据治理的目标是什么些,抓住要点,然后制定合理、详细的数据治理策略,严格监督数据治理的过程,最后做好数据治理后的持续优化和质量监测,全方位彻底解决数据质量问题。

二、主数据治理的类型

现在提出的主数据治理的概念和方法,正式为了解决这些问题而做出的重要贡献,国内外许多企业纷纷开始了自己企业的主数据治理工作。

根据企业的实际情况,主数据治理解决方案一般可以分为三种类型:操作型主数据治理、分析型主数据治理和企业级主数据治理。

操作型主数据治理主要被集成到主要应用系统如ERP、CRM、财务管理系统等;分析型主数据治理主要应用在数据仓库中,因为数据的变迁和目的而创建新的数据结构。

企业级主数据治理是操作性和分析型的综合,并且是比他们更广泛的概念,通常我们叫作面向数据分析及业务管理的主数据治理。

在一些机构对企业主数据治理的调查中可以发现,许多有实施数据仓库的企业已经将下一步目标瞄准了主数据治理。许多成功实施了主数据治理的企业认为他们已经从良好的主数据信息中获得了收益。主数据治理对于数据仓库和商务智能有着深远的影响,未来的企业大数据分析很大程度上也必须基于主数据的质量。

第一节  主数据治理目标

1. 实现静态数据(含主数据、私有档案数据)标准化、规范化管理

企业的业务信息化建设过程中,数据管理方面存在的重复、不一致、不规范等问题愈加凸显,希望通过企业数据治理平台及厂商数据管理咨询结合企业的现状,制定出一套完全符合企业的主数据中心管理的规范和标准,并最终实现系统落地,保证企业及其下属核心分子公司的主数据唯一性和准确性。

2. 净化现有数据环境,打造全企业数据标准化管理体系

数据的质量问题,很大程度取决于数据所处环境的状况。因此需要从根本上打造一整套数据标准化管控体系以确保数据质量的可控制性,数据标准化管控体系包括数据管理制度、流程、组织、考核机制,数据安全、质量管理体系,数据权限管控体系,元数据管理体系,数据交换规范体系等。

3. 规范现有的编码体系,实现编码灵活化、自动化

目前很多企业没有数据编码器,编码过程是发起人电话或者QQ通知编码员在各业务系统中添加的,随意性较强,且缺乏编码的审核监督过程,很容易出现数据重复,输入不规范等问题。希望实施企业数据治理平台后,可以实现自动编码,保证编码的唯一性、准确性、一致性。 

4. 清洗历史数据,为各业务系统提供数据支撑

大部分企业信息化经历了多年快速的发展,各业务系统中积累了大量的历史数据,希望借助企业数据治理平台及厂商对现存的历史数据进行全面梳理和规范,通过成熟、专业的数据清洗方法、清洗策略、清洗工具,降低人为清理的成本,并将清理后的数据准确发布到各业务系统中,保证各业务系统中历史数据的准确。

5. 打造企业级主数据中心,降低业务系统成本投入

360度全方位立体描述企业静态数据(含主数据和私有档案数据),为未来企业主数据的动态变化奠定坚实的基础。

建立企业级主数据中心,形成企业数据交换(数据采集、分发)的雪花状结构,在保证数据准确性、一致性的同时降低原有企业业务系统间数据交换的网状接口开发成本。

建立企业级主数据中心,还可以借助企业数据治理平台,完成主数据的编辑和录入,关闭业务系统的档案维护功能,因此可以减少ERP等系统的节点占用,从而节省比如ERP的高额成本投入。

6. 为未来的智能决策打下坚实基础

企业信息化未来会考虑实施商务智能系统(BI)以及未来大数据的分析平台等,需要准确的数据来源,可以通过企业数据治理平台提供准确的数据,保证BI 抓取的数据准确、全面。

第二节  主数据治理原则

1. 统一性

统一的系统建设规划(特别是统一的技术架构的规划、设计);统一的访问控制策略;统一的资源展现规划。

2. 可扩展性

满足企业现有项目的需求基础上,要充分考虑到系统的可扩展性以及应用及系统不断扩展的要求,以形成一个易于管理、可持续发展的体系结构。未来业务的扩展只须在现有机制的基础上增加新的应用与服务模块。 

3. 安全性

全面考虑系统安全的多个方面,从网络安全、系统平台安全、应用安全的各项设计,防止非法用户对重要的不宜公开的数据的侵入。 

4. 经济性

从经济成本与效益角度考虑,能简单快速地建设平台,充分利用现有的应用系统和IT投资,尽快为企业提供回报;随着平台业务的发展与扩充,增值平台的任何一部分均可相对独立地扩充。未来应用的扩展将是叠加式的,而不是取代式的。 

5. 先进性

采用市场领先的技术,使管理平台项目居于国内外同业领先的地位,保证平台在未来一段时间内顺应IT技术的发展趋势。 

6. 技术稳定性

采用市场当前已经成熟的技术,保证系统高可用性和高稳定性。 

7. 标准性和开放性

应遵循通用的国际或行业标准。 

8. 合规性、安全性、可审计

符合相关法规(如SOX法案)对 IT方面的规定,满足相应的安全标准,并符合审计方面的要求。

第三节  主数据治理策略

策略,百度百科解释为计策,谋略。一般是指,可以实现目标的方案集合。在这里主数据治理策略就是指解决数据质量问题的方案集合。

大家都知道顽疾要想痊愈,肯定是非常的难。企业多年来积累下来的数据质量问题,要想彻底全面的解决同样是一个非常繁重的工作,周期长且成绩很难显现,急于求成或者力求一步到位很容易出现半途而废的情况,因此制定一个好的主数据治理策略是相当的重要和必要的。

事实证明,循序渐进、先治标后治本等是解决顽疾的最佳方案。具体如下:

1. 领导支持

首先,此类浩大的工程获得高层领导的支持是必须,这是项目成功的基本保障。至于如何获得高层领导的全面持久的支持,这就要看个人魅力和忽悠能力了,此部分自己琢磨,重点参考结合炒的火热的大数据等。

2. 项目立项

有了领导支持,接下来就是如何去做这个事了。那么现在开始衡量自身能力,也就是企业内是否可以通过努力完成这么浩大的主数据治理工程,如果感觉可以(不就这点事吗!),那就挽起袖子大干一场吧!如果衡量后不可以,那建议立项,引入外援,让专业的主数据治理公司参与进来,通过正规的治疗以致痊愈。

3. 找“痛点”

这么大的工程,这么多的问题,接下来怎么干呢?这时我们要从业务和数据规范的角度出发,找到真正关键的‘痛点’出来,明确我们的方向。

4. 方向确定好

我们开始确定‘起点’与目标,如下表格:

5cf5c29b6d8b2

供图:中翰软件

5. 确定原则,框定范围 

1) 以主数据管理为关键;

2) 以元数据管理为基础;

3) 由于主数据的动态特性,强化私有静态数据管理,建立企业级主数据中心;

4) 完善指标数据管理体系,360度全方位立体管控,建立狭义数据中心;

5) 改善动态交易数据的存储、分析机制,推行二代BI的全面使用。

6.选择最合适的治理工具

5cf5c2d362c19

供图:中翰软件

第四节  主数据治理准备

4.4.1  组建项目基础团队

1. 团队组建原则

信息部门主导,采购部门辅助;信息部门副总亲自挂帅;包含重要部门一把手或者核心数据管理人员。

2. 项目基础团队职责

选择外部合作厂商;协助组建项目联合实施团队;协助组建项目后期运维管理团队。

3、项目基础团队分工

信息部门负责信息技术以及选型过程中的工作协调;采购部门负责采购环节的监督;重要部门相关人员负责本业务域内的数据管理的前期需求提供、方案审核,积极配合组建项目联合实施团队以及积极参与项目后期运维团队建立。

4.4.2  选择合适的外部厂商

主数据治理厂商分类

按照地域划分

5cf5c3326935f

供图:中翰软件

按照数据治理内容划分 

具体分类如图4-1,具体缘由不方便在此详述。

5cf5c3506220a

图4-1  主数据数据治理内容分类 供图:中翰软件

2. 厂商选择原则标准

5cf5c36d02e8c

供图:中翰软件

4.4.3  成立项目联合实施团队

联合实施团队组建原则业务部门、外部厂商主导,和信息部门辅助支持;业务或者信息部门分管副总挂帅;外部厂商委派经验丰富的项目经理;企业选择有数据管理经验的权威人员做项目经理;各业务、信息部门经理全程跟踪、参与;各业务部门核心数据管理人员全程参与。联合实施团队组织架构

具体见图4-2

5cf5c37dd3854

图4-2  实施团队组织机构 供图:中翰软件

4.4.4  确定主数据治理方法论

终于到了最关键的地方,大家都知道主数据治理的成败取决于过程控制的是否合理、科学。因此,根据多年的企业主数据治理经验,在这里正式推出一套成熟、科学的企业主数据治理方法论-----双311主数据治理方法论,具体内容见图4-3:

5cf5c3c05751b

图4-3  主数据治理方法论 供图:中翰软件

1. 三驱动:三个驱动因素为主线,业务驱动因素、分析驱动因素、规划驱动因素;

2. 一体系:建立一个以主数据中心数据管理体系(含数据管理制度、流程、组织、数据模型)为核心,以主数据中心数据质量管理体系、主数据中心数据安全管理体系、主数据中心数据验证管理体系、主数据中心数据权限体系、主数据中心数据交换规范标准为辅助的一整套数据管控体系;

3. 一落地:实现一个企业主数据治理平台(主数据中心管理平台)的落地;

4. 三清洗:针对历史数据进行三种不同的清洗机制,彻底解决历史数据的质量问题;

5. 一交换:构建一个开放的数据交换(采集、分发)平台,实现企业主数据治理平台和其他业务系统的数据双向传输畅通;

6. 一模拟:一个月的模拟运行,一次性彻底挖掘和解决各种隐患问题。

4.4.5  明确主数据治理路线图

到了这里,我们在严格遵循双311企业主数据治理方法论的基础上就可以清晰地画出主数据治理路线图了,具体如图4-4、图4-5。

5cf5c3d415dbf

图4-4  主数据治理路线图 供图:中翰软件

5cf5c3e568176

图4-5  主数据治理方法论(续)供图:中翰软件

发展改革·区域聚焦

济南市发展改革委紧急部署央行技术改造再贷款项目申报工作
山东省鄄城县发改局开展2024年保密宣传教育月活动
泰安市发改委主要负责同志到市委党校作专题辅导报告
山东省青州市扎实推动城镇化建设省级试点
山东禹城:用绿色低碳铺就高质量发展底色
山东博兴:在高质量发展中推动共同富裕
山东东平:多措并举推动创业投资高质量发展
山东金乡:扶稳项目方向舵,筑牢投资压舱石

绿色能源

山东东平县发展和改革局扎实做好森林防火工作确保电网安全
破解充电“五难题” 山东枣庄持续优化电力营商环境
以“新”赋能新质生产力,大唐山东发电公司首季旗开得胜
山东泗水:“双轮驱动”趟出新能源汽车充电桩建设“新路子”
山东日照:“早、简、快、好”全力保障重大项目用电
山东临沂:建成投运全市首个建筑光伏一体化项目
山东平阴县发改局消除电力隐患,筑牢安全防线
山东商河县发改局开展一季度安全生产监督检查工作

齐鲁粮油

烟台市牟平区:管好用好专项资金,促进区粮食事业更好发展
“齐鲁粮油”走进肥城桃花节暨山东煎饼拼食展成功举办
山东平阴县发改局开展2024年夏粮产购调查工作
2023年山东粮食总产量达1131亿斤,连续3年超1100亿斤
山东成品粮储备库存超24万吨,设立应急加工企业316家
潍坊市发改委组织召开粮食和物资储备工作会议
济南召开全市粮食工作会议,排部署2024年粮食重点工作
烟台市牟平区发改局开展粮食安全生产专项行动

价格调控·价格服务

山东东平发改局组织开展五一前旅游市场价格巡查工作
山东鸿瑞价格评估:提升竞争力吸引力,推动行业健康发展
山东寿光:多举措做好五一劳动节暨菜博会期间价格监测工作
济南市长清区3月份市场主要农副产品价格总体稳中有降
上周日照蔬果市场价格稳中有降
4月15日青岛重要民生商品销售平稳,价格稳定
山东鲁伟保险公估:坚守本心,争做行业模范践行者
国家发改委价格监测中心调研德州市畜禽养殖情况

价格监测

发展视觉