新闻热线:010-63691890 投稿邮箱:cehsds@126.com

工业企业欲彻底解决数据质量,唯有源端+末端综合数据治理

1

当下,数据治理的理念、书籍以及各种软文铺天盖地,仔细分辨大部分是基于DAMA或者DCMM相关理念基础。无论是DAMA理论体系还是DCMM模型中数据治理的内容无外乎包括解决数据质量、数据安全、数据应用服务以及提升解决以上三个问题的能力。

可以感觉到,所有人都已经深刻的认识到数据质量是数据治理中的核心所在,也是最难解决的问题,但大部分的理念、方案在解决数据质量方面相对传统且力度较浅。

目前市面上主要存在以下两种数据治理模式,具体如下:

1) 源端数据治理,是指通过解决业务系统源头数据质量的问题,实现提高数据分析的准确率。

2) 末端数据治理,是指针对解决数据全生命周期的末端(数据仓库层)数据质量的问题,实现提高数据分析的准确率。

 

企业数据治理之源端模式


针对源端的数据治理是主流的数据治理模式,目前行业内80%以上的方案都是如此。如静态数据治理、主数据管理、编码管理等,都是属于针对业务系统的直接影响实现数据质量的改造,最终达到支撑数据应用分析的目的。

源端数据治理模式适用的企业,包括生产型企业、大型集团本部、运营管控型集团等的初步治理。

源端数据治理支撑数据分析及业务管理框架,具体如下图所示。

图 源端数据治理支撑数据分析及业务管理

图 源端数据治理支撑数据分析及业务管理

由上图可以看出,数据治理平台新增数据或者通过数据交换平台(Exchange)从业务系统采集数据进行规范、改造后,一方面冗余数据自动进入数据映射关系库,另一方面改造后的数据再次回传到对应业务系统实现对业务系统数据质量的改造(业务系统运行的前提下)。

当ETL从业务系统中抽取数据的时候,同时从冗余数据映射关系库中抽取冗余数据的关系参照,在加载到数据仓库时会注明某些编码(数据)对应的业务实体对象其实是一个,这样未来进行数据分析时可以实现同一业务实体对象不同编码的业务数据的累加,从而最大化实现数据分析的精确度。

 

企业数据治理之末端模式


关于末端的数据治理,目前存在的形式比较多,最传统的应该是借用ETL进行数据清洗的模式,这种模式基本都是结合数仓、BI的实施展开的,但是多年来的经验告诉我们效果非常之不理想。因此,在AI技术刚刚萌芽之际,很多人把希望都寄托于AI技术能力挽狂澜,殊不知复杂的汉语环境更是让纯AI技术尴尬无比,比较典型的是数据中台中的AI技术进行数据质量的打通,结果一塌糊涂。

综上所述,纯技术的手段几乎无法“撼动”数据质量这座大山,再高端的技术也不行。

因此,多年的经验告诉我们,数据质量的识别除了需要各种技术之外,还需要有长期积累的模型、标准以及人的配合才行,具体如下图所示。

图 数据质量识别的技术架构

图 数据质量识别的技术架构

长期的经验积累在数据治理行业非常重要,至少现阶段海量的标准模型、标准数据以及超前的理念可以最大程度的弥补AI技术的短板,可以让相关AI技术发挥到极致,具体细节不在此详述了。

有了可靠的数据质量识别技术,我们就可以在数据仓库层面游刃有余地解决数据质量问题了,这也就是我们所说的末端数据治理。

具体的末端数据治理技术架构如下图所示。

图 企业末端数据治理技术架构

图 企业末端数据治理技术架构

从上图可以看出,所谓的末端数据治理, 是指数据被集成到原业务系统外的某个区域(一般指数仓的ODS层,即数仓的操作数据存储层)后集中进行质量识别、处理的过程。此模式适用于金融、保险等服务型企业以及战略管控型或者财务管控型的大型企业集团(央企或者大型国企)的顶层数据分析情况,金融、保险公司没有物资类数据,战略管控型或者财务管控型的大型企业集团(央企或者大型国企)大部分数据来源于二、三级单位上报的数据,本部系统比较简单,数据量较少、较单一。

综上,可以看出源端数据治理是直接针对业务系统数据源头质量的影响,末端数据治理属于针对数据汇集后的数据质量的影响。事实证明,两种数据治理模式对数据质量的影响都无法达到最彻底的程度,如源端数据治理很难通过正则表达式等的校验方式发现例如错别字等的问题,末端数据治理也很难通过纯AI等的检测方式发现工业企业特有的物资类数据的深层次质量问题。

因此,中翰软件源端+末端数据治理的方案现阶段得到了很多工业企业的认可并选用,具体如下图。

图 源端+末端数据治理模式

图 源端+末端数据治理模式

工业企业数据治理经验证明,纯源端数据治理模式可以实现70%左右的数据质量的解决,侧重在数据仓库端解决数据质量的末端数据治理模式只可以实现50%左右数据质量的解决,源端+末端的数据治理模式可以实现95%左右数据质量的解决。(山东中翰软件有限公司)

发展改革·区域聚焦

山东省发展改革委举行“光荣在党50年”纪念章颁发仪式暨“不忘初心、牢记使命”主题党日活动
济南市历城区发展改革局开展“献礼二十大,红心永向党”主题党日活动
山东临沭县发展改革局:狠抓落实对上争取丰硕
山东沂南县发展改革局机关党支部与埠子村党支部开展庆“七一”共建活动
山东商河县发展改革局机关党支部组织“不忘初心、牢记使命”主题党日活动
山东泗水发展改革局:稳增长强功能优结构,推进服务业“升规纳统”
山东省发改委第一书记工作组:消费扶贫助销蒙阴蜜桃
山东省发展改革委召开党组书记讲党课暨全面从严治党工作推进会

绿色能源

青岛即墨区发展改革局召开油气管道保护、电力设施和电能保护专业委员会工作会议
兖矿能源济三煤矿:劳模和技能大师筑起“梦工厂”
山东能源西北矿业:“快马加鞭”推进权证办理
2022年度山东新型储能示范项目拉开帷幕
兖矿能源:“精煤战略”落地生金
调峰范围广山东华电章丘2×400兆瓦燃气机组项目启动
山东:踏浪前行驶向深蓝风光无限
山东能源西北矿业亭南煤业:精准发力 趟出融合管理“新路径”

齐鲁粮油

山东汶上县粮食和物资储备保障中心推进数字机关建设
确保夏粮“颗粒归仓” 山东微山多措并举做好夏粮收购工作
山东沂南开展小麦价格调研,助力粮食市场稳定
滨州市发展改革委开展小麦市场情况调研工作
全力保障颗粒归仓 日照市岚山区夏粮收购平稳有序
山东庆云顺利完成2022年新收获小麦扦样工作
山东微山县发展改革局:联合出击全面检查,确保夏粮收购秩序井然
山东庆云:扛稳粮食安全政治重任,推动粮食产业健康发展

价格调控·价格服务

泰安市发展改革委开展马铃薯目标价格保险价格监测专项调查
青岛城阳区发展改革局召开托育机构水电热气价格政策提醒会
青岛市城阳区召开托育机构水电热气价格政策提醒会
青岛市即墨区发展改革局组织开展供水价格调研
滨州发展改革委召开保供稳价协调会
山东禹城:多措并举强化服务,积极做好农产品成本调查
聊城市农业水价综合改革现场会在阳谷召开
山东:5月份CPI涨幅回落,PPI回落幅度进一步扩大

价格监测

山东省价格认证中心到淄博市调研价格监测价格认定工作
日照市发展改革委举办“价格监测开放日”活动
泰安市发展改革委加强端午期间市场价格巡查
德州市发展改革委开展端午节前市场巡查工作
东营市发展改革委积极开展“端午”节市场价格巡查工作
山东东阿县召开价格监测工作座谈会
潍坊潍城区持续加强市场物价监测
山东乐陵市发展和改革局对16家价格监测点开展授牌活动

发展视觉