新闻热线:010-63691890 投稿邮箱:cehsds@126.com

数据治理前,企业如何自查数据质量

1

导读:为适应时代发展脚步,更快更好获取市场资源,许多企业在完成信息系统搭建后,开始谋求数字化转型。然而,数据质量低下始终是企业合理运用数据的绊脚石。数字时代,数据已经变成一个企业的重要资产,而数据质量的高低则是决定这份资产价值几何的重要指标。只有妥善地解决数据质量问题,企业内的数据资产才能更好地发挥它的价值,实现收益最大化。

为了提升数据质量,实施数据治理几乎是企业的必选项。根据多年数据治理经验,中翰建议,企业在开展数据治理项目之前,应该先完成数据质量自查工作。

一、企业为什么需要自查数据质量

1.企业数据质量问题的成因较为复杂,任一环节出错,都会对数据质量产生影响。所以,需要借助专业的视角进行评判。对于企业数据质量问题,我们不仅应该对暴露在表面的数据本身的问题进行统计和分析,还应该从技术、业务、管理等层面,评估数据质量问题的深层次成因,以便彻底解决问题,避免重蹈覆辙,浪费人力、精力和财力。

2.企业数据现状的自查是未来开启数据治理的基础工作,是让领导下定决心的第一步。只有充分了解到企业数据质量问题的急迫性和严重程度,领导才能对数据治理工作的重要性产生相对正确的认知。有了领导的支持和推进,数据治理工作才能更加顺畅有序进行,数据治理成果也能得到一定保证。

3.只有充分、全面、深入评估了解企业数据质量的现状及成因,才能更好地对症下药。咨询方会将评估结果作为数据治理项目实施的重要参考,将技术手段与管理机制相结合,杜绝数据质量问题再次出现。

二、企业如何进行数据质量自查?

1.遵守数据质量自查标准

数据完整性:数据是否完整地描述某一业务实体对象的基准数据以及其被引用的关联属性数据信息。要注意数据是否丢失,或者有不可用的情况;注意关联的数据是否缺失,或者未建立索引。不完整数据的借鉴价值会大大降低,这也是数据质量问题中比较基础和常见的一类问题。

数据一致性:同一业务实体对象在不同业务系统、不同组织机构内,它的名称等相关静态基准信息,以及其被引用的关联属性数据信息应是否完全一样,不存在任何差异。

数据合规性:数据针对某一业务实体对象的描述是否完全符合业务规则、业务代码制定原则、数据描述规范。数据应按照统一格式存储,其内容、格式和展现形式,都必须符合数据定义和业务定义的要求,不能违反数据标准规范。

数据冗余针对同一业务实体,在企业内所有系统、组织机构中是否存在多个代码对应;针对同一代码,在企业不同业务管理过程中是否存在多个业务实体对应。重复冗余数据是导致业务无法协同、流程无法追溯的重要因素,也是数据治理需要解决的最基本的数据问题。

数据及时性:数据由产生到被使用的时间过程是否在企业规定范围内。尤其要关注那些对业务发展极为重要的关键性数据是否能够及时传递到目标位置。

数据有效性:数据生产者是否完全按照数据使用者的要求进行数据的新增、审核,生成的数据是否完全满足使用者对数据的要求。要关注数据和信息的内容是否正确,有没有无效数据、错误数据或超期数据等。真实有效的数据是企业管理工作的基础,是帮助企业进行正确决策的资料。

2.从数据自身的角度自查数据质量

遵守数据质量自查标准即可,见图一:

2

图一 自查数据质量的方法(数据角度)

3.从业务管理和数据应用分析的角度判断数据质量

3

4.数据自查具体步骤

1)明确目标,有针对性开展评估

评估的最终目标是为了使数据质量更好地满足业务的需求。所以首先应该明确业务对各类数据的各种要求,有针对性地对各类数据进行评估。

2)根据业务需求,确定评估细节

对于不同类别的数据,要根据当前的目标和需求选取不同的评估维度,设立不同的评估标准,对同一数据的不同生命周期也是如此。最终,可以根据各种细节确立一套合理高效的评估体系,归入日后的数据管理常规性工作中。

3)实施评估,合理选择方式方法

在实施评估的过程中,应该根据不同数据的特点,选择对应的测度,运用合理的方式方法,多维度结合考量,保证评估结果的准确性。

4)结果分析

作为数据治理项目实施的重要依据,在撰写数据质量评估报告时,应从企业的角度对评估结果进行合理分析,给出确定的结论和目标需求,有效指导后续的工作。

5.数据质量自查实例

【案例一】数据规范、标准问题:国内某大型箱包生产企业集团。

1)编码数据模型不统一、不标准,如表一所示:

4

分析:通过以上数据可以看出,不同编码的规格型号的描述方式相差较大,有纯汉字说明和借用编码流水号两种,二者的共存很容易导致一物多码或一码多物的问题发生,因为不一样的描述方法,业务系统无法验证新增数据时的重复所在。且物资描述不标准、不清晰,规格型号用编码来代替,新员工难以快速理解,容易导致错误采购、错误生产、错误盘点等现象的发生,对业务产生负面影响。

2)规格型号书写格式不规范,如表二所示:

5

分析:规格型号的描述中“织唛”前有的有空格,有的没有空格,这种现象的出现直接导致现有业务系统无法实现有效查重,出现重码现象在所难免。

【案例二】数据冗余问题:国内某大型装备制造企业集团。

企业的数据规范和标准长期由人工执行,以及数据新增时的人为查重、人为监管等,导致了主数据层面“一物多码”的大量存在,产生了大量的主数据冗余。

1)书写格式不规范,出现了大小写(同一小类)不统一的情况,如表三所示:

6

分析:表三的编码中,编码属性模板还是比较标准的,但是在实际录入过程中出现了大小写不一致的问题,如最后三条编码规格中用的是小写,往上三行是大写,再往上又有小写出现,这很明显地说明了缺乏严格的数据验证制度,所以编码重复在所难免。

2)很明显的数据冗余(同一小类内一物多码),如四所示:

7

(山东中翰软件有限公司)

发展改革·区域聚焦

山东通报表扬30个县域经济高质量发展成效显著和进步明显县(市、区)
山东省社会信用中心行政保障部党支部开展“党课开讲啦”活动
山东省发展改革委动能转换协调处开展“缅怀革命先烈、纯洁思想作风”主题党日活动
滨州:推动人口自由流动,服务城乡融合发展
山东省发改委黄河处党支部组织开展深入贯彻中央八项规定精神学习教育专题党课
山东省发展改革委区域发展处党支部开展 “学规守纪强作风,以案为鉴促担当” 主题党日活动
6月第4周德州市居民生活消费品价格呈现窄幅上涨走势
山东省发展改革委社会处党支部开展深入贯彻中央八项规定精神专题党课

绿色能源

泰安市岱岳区:高效办成充电桩报装“一件事”
筑牢能源动脉安全防线 山东庆云:政企联动进校园开展管道安全实战演练
聊城茌平全力护航中高考,筑牢保电“安全网”
国家电投滨州沾化B12-1(一期)200兆瓦渔光互补项目并网
山东省节能与双碳促进中心正式揭牌成立 开启绿色低碳高质量发展新征程
促进新能源消纳,山东省能源局将重点抓好三项工作
山东持续提升煤电机组调峰能力,推动煤电向兜底保障性和系统调节性电源转变
山东:深化电力市场化改革,引导和促进新能源高比例消纳

齐鲁粮油

山东蒙阴抓实应急演练,筑牢粮食仓储安全屏障
山东省粮食和物资储备局赴烟台调研山东商务职业学院建设与粮食和物资储备工作
山东省粮食和物资储备局召开“十五五”仓储物流设施建设座谈会
山东省粮食和物资储备局举办“齐鲁粮油”走进临沂活动
山东组团参加第二十一届粮食产销协作福建洽谈会“齐鲁粮油”专场推介活动同步举办
山东泗水:夏粮收购正当时,颗粒归仓保粮安
淄博市开展新小麦收购价格监测工作
枣庄市市中区:三项举措做好夏粮收购为农服务

价格调控·价格服务

青岛市价格认证和监测中心:加强学习交流 建设廉洁文化
山东蒙阴:6月份居民生活消费(食)品价格总体上涨1.66%
临沂市兰山区居民消费品价格总体平稳,蔬菜鸡蛋价格上涨(6.23—6.30)
济宁:6月肉禽蛋价格以降为主,蔬菜价格止跌回升
本周青岛海明虾和牡蛎超市价格下降,销量上涨明显
青岛举办价格认定案例评审暨认定业务培训班
山东沂源:6月份蔬菜和水果价格普遍上涨
淄博市2025年第二季度肉蛋价格下跌,蔬菜价格涨跌互现

价格监测

发展视觉