数据治理:企业元数据应该怎么管?
导读:元数据,又称中介数据、中继数据,是用来描述数据的数据(data about data),其描述的内容主要是数据属性(property)的信息。元数据可以用来支持指示存储位置、历史数据、资源查找、文件记录等功能,可以说是一种便于实现数据检索的电子式目录。
在现实世界里,元数据的应用已经成为我们生活的一部分。比如,当你在图书馆借阅书籍时,会依赖书籍的分类、标题、梗概等内容来进行选择,同时可以根据索书号查询到某本藏书的位置和借阅状态。同样地,我们拿起手机阅读文章、在外卖平台选择食物,都依靠着元数据提供的描述。试想,如果人们不再使用这些描述类语句,生活会如何混乱。
对于企业来说,元数据是企业数据资产管理的重要基础,是为获得高质量的、整合的元数据而进行的规划、实施与控制行为。为了帮助企业更好地进行数据资产管理,在数据治理项目中,元数据管理的实施是必不可少的。
一、元数据概念简述
Gartner公司将元数据定义为:“描述数据资产各个方面的信息,以便在整个生命周期中提高其可用性”、“将数据转变为资产的是元数据”。足见元数据对企业数据资产管理的重要性。
元数据可以被视作“数据本身带有的技术属性”与“数据在业务运行中的业务属性。”它可描述的范围很广,它不仅包括物理数据的格式,技术和业务过程,还包括数据的规则和约束以及企业所使用数据的结构。
元数据根据其描述对象可以被分多种类型,究其本质,可以大致划分为两类:“技术元数据”和“业务元数据”。
技术元数据是数据本身的特定属性,描述了数据的存储、结构、血缘等信息,不能进行编辑,只能自动获取;业务元数据的描述是通过业务赋予的,对业务元数据进行管理有助于统一组织对数据业务含义的认知,为接下来的数据分析和应用提供支撑。
二、元数据管理的价值
对于企业来说,元数据就是知识。实施元数据管理可以实现:
l 通过快速定位和数据血缘溯源帮助企业更好地理解自身的数据、系统和流程;
l 有助于识别数据风险、提升数据质量;
l 能够统一企业各部门对数据含义的认知,打通数据孤岛;
l 指导企业战略和运营决策,加速部署和迁移;
l 提高生产率,降低成本,助力企业实现数字化转型。
三、元数据管理的实施方法
1)元数据管理计划
l 明确元数据管理相关参与方,收集元数据管理需求;
l 确定元数据类型、范围、属性,设计元数据架构,技术元数据与数据模型、主数据、数据开发相关架构一致;
l 制定元数据规范;
2)元数据管理执行
l 依托元数据管理平台,从各种复杂的数据环境中采集和存储元数据;
l 完善对元数据实施管理的各项基本功能,如元数据的添加、删除、修改、变更、关系建立、关系删除、关系跟踪等功能;
l 对元数据从创建发布到使用归档的整个生命周期进行管理跟踪,实现流程管理。
l 可视化数据血缘;
l 应用元数据,包括非结构化数据建模、自动维护数据资产目录等;
3)元数据分析
实现对元数据的基本分析功能,如血缘分析(血统分析)、影响分析、实体关联分析、实体影响分析、主机拓扑分析、指标一致性分析等。
4)元数据管理检查
l 完善对元数据的查询、统计和分析功能,实现元数据质量检查与治理;
l 实施元数据治理执行过程规范性检查与技术运维;
l 保留元数据检查结果,建立元数据检查基线;
5)元数据管理改进
l 根据元数据检查结果,召集相关利益方,明确元数据优化方案;
l 制定改进计划,持续改进元数据管理的方法、架构、技术与应用等内容。
元数据贯穿数据资产管理的全流程,是支撑数据资源化和数据资产化的核心。首先,元数据从业务视角和管理视角出发,通过定义业务元数据和管理元数据,增强了业务人员和管理人员对于数据的理解与认识。其次,技术元数据通过自动从数据仓库、大数据平台、ETL中解析存储和流转过程,追踪和记录数据血缘关系,及时发现数据模型变更的影响,有效识别变更的潜在风险。最后,元数据可作为自动化维护数据资产目录、数据服务目录的有效工具。
四、元数据管理工具
为了将元数据管理的价值发挥到最大化,企业应该选择恰当的管理工具。
一般来说,合适的元数据管理工具除了能够完成基本的采集、存储、分发等功能之外,还应具备一定的维护统计、查找分析、质量检查等功能,从而确保元数据的可控制性和可溯源性,实现元数据管理的安全和有序。
在中翰研发的“工业企业数据治理整体架构”和“数据管理与控制平台DMCv9的功能架构”中,元数据管理始终占据重要的基础地位。
在中翰研发的“1-1314数据治理整体架构”中,元数据管理即针对元数据标准进行统一管控(采集、存储、分发),并且实现元数据的血缘分析、影响分析以及全链分析等。
中翰研发的数据管理与控制平台DMCv9的“元数据管理”模块,具备元数据资产存储(元数据关系维护、元数据版本管理、原模型管理),元数据资产管理(元数据维护、变更、查询、统计),以及元数据质量管理(元数据一致性检查、元数据属性检查、元数据关系健全性管理)等功能。(山东中翰软件有限公司)