数据治理架构的总结与分析
日前,IDC正式发布《中国数据治理市场份额2021》报告,报告显示,中国数据治理平台市场2021年规模达23.9亿元,越来越多的行业和领域开始认识到数据治理的价值和必要性。数据治理的市场将迎来高速增长期。
由此可见,数据治理行业已经得到广泛接受和认可,同时,中国数据治理市场经过几十年的发展,市场需求已经发生了重大转变,企业内部的数据架构越来越复杂,对数据治理工作的方式方法提出了更高的要求。
在数据治理项目中,制定数据治理架构是最核心的任务,好的数据治理架构可以确保数据治理的整体性,实现彻底、完善的数据治理,更好地达到数据治理的预期效果。
由于数据治理的侧重点和视角不同,国内外相关行业对数据治理项目的整体架构方式也不尽相同。其中,许多行业内知名公司和权威机构分别对数据治理的架构方式作出了总结:
1、国际数据管理协会(DAMA)数据治理框架
国际数据管理协会(DAMA)成立于1988年,他们在丰富的数据管理经验的基础上,提出了几乎最为完整的数据治理体系——著名的“飞轮”模型,它概括了数据管理的十大功能模块,涵盖了数据治理工作的核心领域。
国际数据管理协会从数据治理生命周期角度开启研究,总结了数据管理的10个领域:数据治理、数据架构管理、数据开发、数据操作管理、数据安全管理、参考数据和主数据管理、数据仓库和商务智能管理、文档和内容管理、元数据管理、数据质量管理,并把“数据治理”放在核心地位(见图一)。
而要进行有效的数据治理,需要将以上工作内容与DAMA总结的七大环境要素结合起来,并建立匹配关系,从而确保数据治理目标的实现和环境要素的配合贡献。这七个环境要素分别是:目标和原则、活动、主要交付物、角色和责任、技术、实践和方法、组织和文化(见图二)。图一DAMA数据管理框架
2、IBM数据治理框架图二 DAMA环境因素六边图
IBM也许是最早提出数据治理概念的公司,它凭借多年出色的IT咨询经验,以及大数据平台开发经历,提出了数据治理统一流程理论(The IBM Data Governance Unified Process)。
IBM数据治理委员会在构建数据治理统一框架方面,提出了数据治理的要素模型,包含成果、支持条件、核心规程和支持规程四个层次(见图三)。
从图中可以看出:平衡和考量数据治理项目的风险合规性以及其能为企业带来的价值,是影响项目成果的主要因素;建立完备的组织、形成统一的意识、制定恰当的策略、实施周到的管理工作是项目成功必不可少的支持条件;提升数据质量、做好生命周期管理、保证数据安全是数据治理项目的核心规程;系统体系结构设计,元数据梳理并形成统一资源目录,数据的合规、内控、审计流程是数据治理项目的支持规程。
《中国面向人工智能的数据治理行业研究报告》中提到:数据治理架构核心包括数据标准管理、数据集成管理、元数据管理、主数据管理、数据资产管理、数据质量管理、数据模型管理、数据服务与数据安全管理模块。依托于企业对数据治理的侧重点不同,数据治理体系与架构也会根据企业所在的行业特点、经营性质及信息化程度的不同而有所差异。在实际设计时,企业应从实际需求出发,设计搭建适合自身情况的数据治理架构。
中翰软件在数据治理领域深耕17年,深知构建数据治理整体架构、确保数据治理整体性是实施数据治理项目的重中之重。
由此,中翰软件基于对数据治理领域的钻研成果、对业务的深刻理解,总结出了“一个体系(数据标准体系)、三个环境(治理型环境、分析型环境、知识型环境)、一个架构(面向服务的集成架构)“的数据治理整体架构(见图四)。
数据标准体系:是企业数据治理架构中的核心底层部分,通常也指数据环境,包括数据分类及编码标准、数据模型标准、数据质量管理标准、数据安全管理标准、数据交换标准,对应落地平台应具备管理数据标准体系的过程和结果的功能。
治理型环境:是指数据全生命周期管理的过程,是解决数据质量、安全等的核心功能部分,包括体系构建、静态数据中心管理(数据建模管理、数据编码管理、数据质量管理、数据日常管控)、数据交换管理、数据清洗管理、数据保养管理(数据评估监测)。对应平台建议采用企业数据治理平台,不建议采用主数据管理平台。
分析型环境:是指基于数据仓库的各种主题数据分析,是提供数据展现服务的核心功能部分,如运营分析、资产分析、财务分析、人力资源分析。对应平台包括BI决策支持平台、数据仓库、ETL。
知识型环境:是指企业整个数据治理的知识体系架构,而非传统的企业管理或者某类专业知识管理,是提供数据治理能力的核心组成部分。数据治理知识可以实现知识驱动数据管理业务、驱动数据管理岗位、驱动数据应用的全面知识管理体系。
面向服务的集成架构:是指数据的采集、分发、集成以及业务重组等,是数据交换的核心功能部分,主要包括静态数据交换管理、ETL、企业服务总线ESB、业务流程引擎BPM。(山东中翰软件有限公司)