新闻热线:010-63691890 投稿邮箱:cehsds@126.com

数据治理:数据模型体系构建要点及实践

 1

使用建立模型的方式对事物进行描述,可以更形象、直观地揭示事物的本质特征,帮助人们更加全面、深入认知事物,找到事物的解决方案。在生产生活中,为了便于使用计算机技术对客观事物进行管理,就需要对客观事物进行抽象、模拟。而数据模型正是对现实世界数据特征的模拟和抽象,是用于提供信息表示和操作手段的形式构架

一、什么是数据模型?

数据建模设计,可以通过对不同系统的分析、预测,实现对系统的最优控制。恰当合理、符合规范的数据模型,能够使企业内数据的分布更加科学,大幅提升数据使用率。

二、数据模型对于数据治理的重要性

数据模型,是体现企业核心数据需求的重要元数据的集合。在数据质量方面,它可以通过提供关键的元数据和业务规则输入,推动企业数据质量评估规则和数据标准的优化和建设;在数据安全方面,数据模型可按需标注敏感信息,方便组织参考制定数据安全规则,判断数据权限设置和脱敏需求;在数据存储方面,数据模型提供的规范结构可以大大减少数据存储操作时出现异常的情况;在数仓和BI的建设方面,数据模型可提供的整体数据视角和专业维度模型必不可少。

在数据治理工作中,总结问题并定义关键数据后,可通过在数据模型中构建相应的治理政策和安全规程,控制安全问题的发生。安全、透明、合理、规范的数据建模过程可以加强数据的安全性,提高数据使用率和整合效率。

构建数据模型体系是数据治理工作的重要部分,需要在确定统一标准和技术规范的基础上,在解决现实问题的同时,充分考虑未来的发展预期和可能出现的问题。

三、数据模型体系如何构建

1、数据模型体系的结构

数据模型体系是数据的核心部分,也是数据生命周期的起点。数据模型体系结构具体可参考下图(图一):

2

2、数据模型体系设计的原则

在设计数据模型体系时,应充分借鉴国际上、行业内的成熟经验,确保设计成果的先进性、可靠性,再根据企业需求形成企业自身独有的数据模型体系。同时,数据模型设计应的相对稳定,支持模型的扩展与优化,进而保证企业信息资源的可持续利用。

(1)数据编码原则

 唯一性:同一系统内一个编码只能代表一种对象,避免一“物”多码和一码多“物”现象;

● 完整性:原则上,企业所有的对象都应编码。以保持编码的完整性;

● 准确性:对编码的定义和描述必须简洁准确,不能模棱两可。对于易变动的属性应通过独立的数据项进行描述;

● 适应性:设计编码规则时,应全面考虑各个组织、业务域使用者的需求;

● 继承性:尽量沿用已普遍使用的编码,有选择性地借鉴国标行标编码;

● 拓展性:设计编码结构和位数容量时要考虑未来业务、运营、管理的发展变更,预留编码扩展空间;

● 稳定性:编码要统一且有一贯性,编码及编码规则一经确定,不可轻易更改,以免造成数据混乱和丢失;

● 易用性:编码应尽量简短,规则应尽量简单,易于联想和录入,方便对数据的维护和使用。

(2)数据分类原则

● 维度一致:同一类别结构中,划分维度和标准要保证全部统一,不允许出现不同标准的分类方式;

● 粒度统一:一个完整的类别结构中,应尽量避免相同层级的类别划分有较大的粒度差别和重叠。类别结构的层次不一,会增加后期管理的难度;

● 避免出现“其他类”:应全面考虑类别的划分维度和完整性,原则,杜绝出现“其他类”,避免错放、乱放行为造成编码混乱;

● 允许多类别结构的存在:在建立类别结构的同时允许旧的类别结构继续使用,既保证类别结构的科学和完整,又沿袭了传统习惯,增强项目实施可控性。

3、信息模型体系设计原则

信息模型体系包括:物资数据模型、客户数据模型和供应商数据模型等。下面以中翰软件的物资数据模型管理要求(图二)为例:

3

数据信息模型,又可被称作静态数据中心模型(见图三),每一类模型都可分为三个部分,即“编码属性”“公有属性”和“私有属性”。

4

“公有属性”中又分为“基础数据”和“业务数据”。其中,公有基础数据即传统定义的“主数据”部分。主数据包含了编码数据,但是为了更清晰地描述,一般建议专门建立公有基础数据(主数据)视图进行区别管理。

对于公有业务数据,其他系统需要引用后才能使用,为了规范管理,避免出现二次输入的错误,公有业务数据也需要单独建立视图进行区别管理。

“私有属性”分为“业务系统私有属性”和“组织机构私有属性”两部分,这里的私有属性都属于基础数据,不涉及业务数据。私有业务数据是业务系统中的交易性动态数据,无共享性,变化频率高,需要在后期的BI或者数据中心中单独管理。

4、要点总结

● 充分调研企业管理体系现状,结合企业未来的管理目标和规划;

● 参照国家标准、行业标准、企业现有标准;

● 在企业内广泛征求各级相关人员的建议和意见,审慎讨论;

四、数据治理中如何实现对数据模型的管理

1、数据模型管理工具

许多企业在进行数据模型的构建与变更工作时,常常因缺失规范的管理流程而饱受诟病。模型构建不经审核、不符合规范、模型变更难以追溯的情况时有发生。

中翰MDC组件,是中翰研发的静态数据中心管理平台,可满足企业静态数据的全面治理,实现多系统、多组织、多维度建模方式。可结合中翰研发的EDP组件(体系构建平台,提供过程管理和知识转移服务)实现对企业数据模型构建、变更的标准化过程管理。

5

6

 

2、数据模型管理制度&标准规范

中翰软件将数据质量管理作为工作核心,重视制度保障。多年来,在中翰的帮助下,许多企业根据自身情况建立了相应的数据管理制度。在数据模型管理层面,主要包括:数据模型内容、数据模型管理内容、数据模型管理过程等几方面内容。

除此之外,中翰十分注重标准层面的数据治理工作,在“模型规范化”版块下规定了相应的工作范围和要求。数据治理进入运维阶段后,中翰还将数据模型编码手册的编制和提供列入标准化运维体系,便于企业进行数据模型的扩展与优化,进而保证企业信息资源的可持续利用。

7

 

3、经验积累

在17年数据治理工作实践中,中翰通过各类工业企业项目积累了丰富的经验,收集整理了1000多万条来自各行业的数据模型,为帮助企业科学合理实现数据模型体系的构建和数据模型的管理打下了坚实的基础。

 

8

(山东中翰软件有限公司)

发展改革·区域聚焦

山东鄄城县发改局机关第一党支部召开2022年度组织生活会暨民主评议党员会议
山东省发展改革委组织党支部纪检委员参观“清廉山东·手造蕴廉”专题展
山东省发展改革委对外开放处党支部召开2022年度组织生活会
山东省发展改革委行政许可处党支部召开2022年度组织生活会
山东省发展改革委区域发展处党支部召开2022年度组织生活会
山东省发展改革委投资处党支部召开2022年度组织生活会
山东省发展改革委黄河战略推进处党支部联合开展主题党日活动
山东省发改委调研沂水县“智慧发改·亲清服务”品牌打造暨“一表申请”表单智慧供给试点工作

绿色能源

青岛即墨:5家新经济企业参加青岛市新经济新动能高质量发展推介会
山东阳谷:倡导节约用电 培育节能习惯
华能“吉电入鲁”500兆瓦风电项目全容量投产
山东加快推进天然气管网重点工程建设
潍坊市奎文区发改局:“想方设法”破解充电难,“惠而不费”建好充电桩
山东探索实施“2343”煤矿安全培训考试考核新路径
山东能源集团:扎实推进企业绿色低碳转型和高质量发展
山东金乡县发展和改革局联合济宁市能源局开展长输油气管道保护宣传工作

齐鲁粮油

烟台市牟平区发改局开展粮食行业安全生产检查
泰安:扛稳粮食安全责任 加快产业高质量发展
“文化价值+产业价值”完美融合 花样面点闪耀第四届山东粮博会
第四届山东粮博会上泰安企业签约不断 直接签订合作项目78个
山东:全力以赴办好第四届山东粮油产业博览会
“物阜粮丰 国泰民安” 第四届山东粮油产业博览会在泰安成功举办
山东泗水县发改局组织粮食企业参加第四届山东粮油产业博览会
东营市河口区发改局组织粮食企业参加第四届山东粮油产业博览会

价格调控·价格服务

山东省发展改革委价格处党支部开展“铭记辉煌党史 汲取奋进力量”主题党日活动
助力乡村振兴 山东深度推进农产品成本调查与农业保险有效合作
山东昌邑召开管道天然气配气价格暨居民用天然气终端销售价格听证会
山东高密下调工业蒸汽销售价格
山东新泰:开展重要民生商品价格巡查工作
山东安丘拟召开管道天然气配气价格暨居民用天然气终端销售价格调整听证会
山东安丘开展污水处理费成本监审工作
山东曲阜:重点做好价格问政回复文本工作

价格监测

山东阳谷:三措施提高价格监测工作质量
潍坊市寒亭区持续开展市场价格巡视工作
淄博博山:近期农贸市场价格基本稳定
泰安:居民生活消费品价格稳中略降(2月28日)
山东博兴:居民生活消费品价格基本平稳(2月28日)
滨州:居民主要生活消费品价格整体稳定(2月28日)
山东沂源:春耕在即,农资价格上行压力大
临沂市兰山区:居民消费品价格总体稳定

发展视觉