新闻热线:010-63691890 投稿邮箱:cehsds@126.com

数据治理:数据模型体系构建要点及实践

 1

使用建立模型的方式对事物进行描述,可以更形象、直观地揭示事物的本质特征,帮助人们更加全面、深入认知事物,找到事物的解决方案。在生产生活中,为了便于使用计算机技术对客观事物进行管理,就需要对客观事物进行抽象、模拟。而数据模型正是对现实世界数据特征的模拟和抽象,是用于提供信息表示和操作手段的形式构架

一、什么是数据模型?

数据建模设计,可以通过对不同系统的分析、预测,实现对系统的最优控制。恰当合理、符合规范的数据模型,能够使企业内数据的分布更加科学,大幅提升数据使用率。

二、数据模型对于数据治理的重要性

数据模型,是体现企业核心数据需求的重要元数据的集合。在数据质量方面,它可以通过提供关键的元数据和业务规则输入,推动企业数据质量评估规则和数据标准的优化和建设;在数据安全方面,数据模型可按需标注敏感信息,方便组织参考制定数据安全规则,判断数据权限设置和脱敏需求;在数据存储方面,数据模型提供的规范结构可以大大减少数据存储操作时出现异常的情况;在数仓和BI的建设方面,数据模型可提供的整体数据视角和专业维度模型必不可少。

在数据治理工作中,总结问题并定义关键数据后,可通过在数据模型中构建相应的治理政策和安全规程,控制安全问题的发生。安全、透明、合理、规范的数据建模过程可以加强数据的安全性,提高数据使用率和整合效率。

构建数据模型体系是数据治理工作的重要部分,需要在确定统一标准和技术规范的基础上,在解决现实问题的同时,充分考虑未来的发展预期和可能出现的问题。

三、数据模型体系如何构建

1、数据模型体系的结构

数据模型体系是数据的核心部分,也是数据生命周期的起点。数据模型体系结构具体可参考下图(图一):

2

2、数据模型体系设计的原则

在设计数据模型体系时,应充分借鉴国际上、行业内的成熟经验,确保设计成果的先进性、可靠性,再根据企业需求形成企业自身独有的数据模型体系。同时,数据模型设计应的相对稳定,支持模型的扩展与优化,进而保证企业信息资源的可持续利用。

(1)数据编码原则

 唯一性:同一系统内一个编码只能代表一种对象,避免一“物”多码和一码多“物”现象;

● 完整性:原则上,企业所有的对象都应编码。以保持编码的完整性;

● 准确性:对编码的定义和描述必须简洁准确,不能模棱两可。对于易变动的属性应通过独立的数据项进行描述;

● 适应性:设计编码规则时,应全面考虑各个组织、业务域使用者的需求;

● 继承性:尽量沿用已普遍使用的编码,有选择性地借鉴国标行标编码;

● 拓展性:设计编码结构和位数容量时要考虑未来业务、运营、管理的发展变更,预留编码扩展空间;

● 稳定性:编码要统一且有一贯性,编码及编码规则一经确定,不可轻易更改,以免造成数据混乱和丢失;

● 易用性:编码应尽量简短,规则应尽量简单,易于联想和录入,方便对数据的维护和使用。

(2)数据分类原则

● 维度一致:同一类别结构中,划分维度和标准要保证全部统一,不允许出现不同标准的分类方式;

● 粒度统一:一个完整的类别结构中,应尽量避免相同层级的类别划分有较大的粒度差别和重叠。类别结构的层次不一,会增加后期管理的难度;

● 避免出现“其他类”:应全面考虑类别的划分维度和完整性,原则,杜绝出现“其他类”,避免错放、乱放行为造成编码混乱;

● 允许多类别结构的存在:在建立类别结构的同时允许旧的类别结构继续使用,既保证类别结构的科学和完整,又沿袭了传统习惯,增强项目实施可控性。

3、信息模型体系设计原则

信息模型体系包括:物资数据模型、客户数据模型和供应商数据模型等。下面以中翰软件的物资数据模型管理要求(图二)为例:

3

数据信息模型,又可被称作静态数据中心模型(见图三),每一类模型都可分为三个部分,即“编码属性”“公有属性”和“私有属性”。

4

“公有属性”中又分为“基础数据”和“业务数据”。其中,公有基础数据即传统定义的“主数据”部分。主数据包含了编码数据,但是为了更清晰地描述,一般建议专门建立公有基础数据(主数据)视图进行区别管理。

对于公有业务数据,其他系统需要引用后才能使用,为了规范管理,避免出现二次输入的错误,公有业务数据也需要单独建立视图进行区别管理。

“私有属性”分为“业务系统私有属性”和“组织机构私有属性”两部分,这里的私有属性都属于基础数据,不涉及业务数据。私有业务数据是业务系统中的交易性动态数据,无共享性,变化频率高,需要在后期的BI或者数据中心中单独管理。

4、要点总结

● 充分调研企业管理体系现状,结合企业未来的管理目标和规划;

● 参照国家标准、行业标准、企业现有标准;

● 在企业内广泛征求各级相关人员的建议和意见,审慎讨论;

四、数据治理中如何实现对数据模型的管理

1、数据模型管理工具

许多企业在进行数据模型的构建与变更工作时,常常因缺失规范的管理流程而饱受诟病。模型构建不经审核、不符合规范、模型变更难以追溯的情况时有发生。

中翰MDC组件,是中翰研发的静态数据中心管理平台,可满足企业静态数据的全面治理,实现多系统、多组织、多维度建模方式。可结合中翰研发的EDP组件(体系构建平台,提供过程管理和知识转移服务)实现对企业数据模型构建、变更的标准化过程管理。

5

6

 

2、数据模型管理制度&标准规范

中翰软件将数据质量管理作为工作核心,重视制度保障。多年来,在中翰的帮助下,许多企业根据自身情况建立了相应的数据管理制度。在数据模型管理层面,主要包括:数据模型内容、数据模型管理内容、数据模型管理过程等几方面内容。

除此之外,中翰十分注重标准层面的数据治理工作,在“模型规范化”版块下规定了相应的工作范围和要求。数据治理进入运维阶段后,中翰还将数据模型编码手册的编制和提供列入标准化运维体系,便于企业进行数据模型的扩展与优化,进而保证企业信息资源的可持续利用。

7

 

3、经验积累

在17年数据治理工作实践中,中翰通过各类工业企业项目积累了丰富的经验,收集整理了1000多万条来自各行业的数据模型,为帮助企业科学合理实现数据模型体系的构建和数据模型的管理打下了坚实的基础。

 

8

(山东中翰软件有限公司)

发展改革·区域聚焦

山东省发展改革委国民经济综合处党支部召开2024年度组织生活会
山东省发展改革委固定资产投资处党支部召开2024年度组织生活会
日照岚山发改局:多维发力,保障招投标环境风清气正
山东省发展改革委高技术处党支部开展“不忘初心、牢记使命”主题党日活动
山东省发展改革委体改处党支部召开2024年度组织生活会
山东省发展改革委海洋处党支部开展“推动海洋产业发展 助力海洋强省建设”专题调研
山东省发展改革委举办全省发展改革系统习近平法治思想专题辅导讲座
山东省发展改革委社会发展处党支部召开2024年度组织生活会

绿色能源

“党旗领航 三色担当” 华能山东公司奋力谱写深化改革创新、加快转型发展山东篇章
今年潍坊市潍城区将新规划建设充电桩260个
“发展新能源 助力碳中和” 2025第四届黄河流域新能源创新发展大会在济南召开
泰安市泰山区召开非直供小区供电设施改造推进会
山东:凝聚合力协同推进氢能产业发展
蹚出一条能源绿色低碳转型的“山东路径”
山东:全力打造能源绿色低碳转型示范区
彰显泰安担当 储能之都建设驶入快车道

齐鲁粮油

山东省粮食和物资储备局启动部署深入贯彻中央八项规定精神学习教育
烟台:创新“陆海粮仓”协调联动,粮食安全保障能力持续提升
用好粮食储备“蓄水池”,山东力保粮食市场供求基本平衡
山东聚力打造全国粮食产业高质量发展样板区
山东:储运、加工、配送、供应全链条粮食应急保障体系基本建成
连续4年粮食产量突破千亿斤 高水平建设“齐鲁粮仓”山东掌握“密码”
山东省粮食和储备局开展纪念“三八”国际劳动妇女节主题活动
济南召开2025年全市粮食工作暨价格工作会议

价格调控·价格服务

3月第4周德州市居民生活消费品价格呈基本稳定走势
临沂:粮油副食价格稳定,猪肉鸡蛋价格下降(3.28)
泰安:肉蛋价格稳中略涨 蔬菜价格有涨有降(3月20日-3月27日)
本周青岛粮油价格基本平稳,鸡蛋价格略有下跌(2025.3.22-3.28)
淄博价格指数解读(3-28)
东营:本周鸡蛋价格略涨,蔬菜价格稳中有降
菏泽市场主要粮油肉蛋价格基本稳定,蔬菜价格总体平稳(3月20日—3月27日)
3月27日枣庄市重要民生商品价格行情稳定

价格监测

发展视觉