转载 https://blog.csdn.net/zhaodedong/article/details/101730629?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522160436897119724838530992%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fblog.%2522%257D&request_id=160436897119724838530992&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2 _blogfirst_rank_v1~rank_blog_v1-7-101730629.pc_v1_rank_blog_v1&utm_term=%E5%85%83%E6%95%B0%E6%8D%AE&spm=1018.2118.3001.4450

前言

伴随着企事业单位信息化不断的深入、各种技术持续的发展以及人们对数据治理的认知不断加深，数据治理工具在过去的20年也不断的发展，笔者以某世界500集团企业案例为原型，介绍数据治理工具发展及变迁及未来发展趋势和方向,供广大读参考。

数据治理背景介绍

狭义上讲，数据治理是指对数据质量的管理、专注在数据本身。广义上讲，数据治理是对数据的全生命周期进行管理，包含数据采集、清洗、转换等传统数据集成和存储环节的工作、同时还包含数据资产目录、数据标准、质量、安全、数据开发、数据价值、数据服务与应用等，整个数据生命期而开展开的业务、技术和管理活动都属于数据治理范畴。有的专家干脆把广义的数据治理称为数据资产管理。

数据治理专注于将数据作为企事业单位数据资产进行应用和管理的一套管理机制，能够消除数据的不一致性，建立规范的数据应用标准，提高数据质量，实现数据内外部共享，并能够将数据作为组织的宝贵资产应用于业务、管理、战略决策中，发挥数据资产价值。

数据治理管理工具演变历程及各阶段特点

第一代数据治理工具-编码时代(起步期，1994-2004年)

在这个时代里，企事业单位各种MIS系统得到较好的发展和应用，最典型莫过于是物资管理系统、进销存系统、PDM系统等信息系统。为了确保这些MIS系统各种编码好用，好查，避免一物多码情况的发生，一些大型集团企业在早期开发一些名叫“编码系统”“编码网站”等系统，这些系统主要发布主数据代码为主，配合某一单一的MIS系统应用为主，有的甚至在这些单一系统开发一个模块，如编码模块。这是数据治理工具最早期的工具，确保MIS中各种编码唯一性。

以下为编码管理系统功能架构。

以下以物资编码管理系统为例，列举了物料编码系统功能点。

第二代数据治理工具-主数据管理时代(发展期，2005年-2011年)

这个时代最典型是国内很多大型集团企业流行实施ERP系统，国外主流产品例如SAP ERP和Oracle EBS等产品，国内主流产品例如用友的U8、NC、金蝶的K3等。

最早的是些外国ERP厂商推出MDM产品，例如Informatica、Oracle、IBM、SAP 、微软都采取了自有产品并提供主数据管理解决方案,集中管理单一版本的、完整的和可信任的主数据信息。这些产品具有企业级主数据存储、数据整合、数据共享、数据质量、数据治理5大功能。基于SOA架构的企业级应用。支持两种实施模式：即“推动模式（交易模式）”和“拉动模式（共享模式）”。

主数据分发和交换主要采用企业服务总线（ESB）产品,较多使用国外主流IT厂商产品，例如：微软的BizTalk、IBM WAS 、 Oracle OSB 、SAP XI(后来叫PI/PO)等。采用SOA， B/S架构，主要为ERP等经营管理系统服务。

某国际厂商主数据管理解决方案涵盖主数据建模、数据导入、数据分发、数据查重、数据校验、数据完善、数据创建流程等企业主数据管理的各个方面。提供基于行业标准的模型建模语言，供客户快速定义主数据创建或审批流程，支持并行和串行流程，并提供强大的流程分析报表，帮助企业提高流程效率。同时提供Java/.Net/Web Service等多种API，满足和企业内其他系统集成的需求。该主数据管理解决方案可通过数据校验、数据查重和数据合并等手段，有效的提高企业主数据的质量。同时提供可选的组件Data Quality，提供深度的数据质量校验功能，如根据中国邮政名址库进行客户地址校验更正，提高地址的质量。

系统集成平台采用总线的方式进行设计和搭建，总线的方式最适合大规模、多系统的场景下系统集成的需求。

通过实施主数据管理系统，推动主数据（如：客户、供应商、产品、员工等）管理规范化、标准化，从而实现整个企业范围内主数据的统一管理、集中维护，并且实现这些主数据与各个关联业务系统的协同和分发，保证企业在异构环境中各个信息系统具有统一、准确、高质量的主数据，从而推进业务流程的改进，提高生产力。

第三代数据治理工具-数据标准化时代(成熟期2012-2018年)

随着大数据技术应用以及智能工厂（车间）建设，企业的信息信息系统越来越多，尤其生产制造领域系统越来越普及深入，主数据服务不仅仅只是限于以ERP为核心的经营管理层面的系统。在这个时代，最典型的以MES为核心的智能制造系统也提出更高需求。“集中集成，创新提升，共享服务，协同智能”成为主旋律。

数据的集成和共享是其重要的特点，更是强调数据的标准和统一。数据标准化、规范化是实现信息集成和共享的前提，根本上消除各业务系统的“信息孤岛”。

“独立、自主、安全、可控”在某些领域和行业提出国产化的需求，去IOE的浪潮一浪盖过一浪。很多大型集团企业开始采用开源技术独立开发数据治理工具， 采用微服务架构，满足MES、PLM等多个层面数据共享需求, 内容扩展增加了动态建模、移动应用，生产层面的主数据、数据指标、多语言等功能。数据交换平台逐步采用国内自主ESB相关产品

第四代数据治理工具-数据治理时代(展望期，2018年-至今)

近年来，随着大数据平台和工业互联网兴起，数据治理平台主要采用数据中台技术和微服务架构初步替代传统架构、面向大数据架构下，为数据资源中心与外部数据系统提供数据服务。对内和对外系统提供云服务。

数据治理的目标是提高数据的质量（准确性和完整性），保证数据的安全性（保密性、完整性及可用性），实现数据资源在各组织机构部门的共享；推进信息资源的整合、对接和共享，从而提升政务单位信息化水平，充分发挥信息化作用。

数据治理管理工具功能架构

数据治理管理工具用于落实数据管理体系，实现数据管理自动化，提高数据管理效率，确保数据质量、实现安全数据共享。主要包括数据门户地图、主数据管理、数据指标、元数据管理、数据模型工具、、数据交换与服务工具、数据资产管理、数据开发、数据质量管理、数据安全。