主数据驱动的数据治理：原理、技术与实践

　　“数据”已成为企业的一项宝贵的战略资产。为了使庞大的数据发挥更大的价值，企业必须着眼于数据治理和综合利用。主数据驱动的数据治理是指从企业杂乱的数据中捕捉具有高业务价值、被企业内各业务部门重复使用的关键数据进行管理，构建单一、准确、权的数据来源，从而提高企业的整体数据质量，提升数据资产价值，推动业务创新，全面增强企业竞争力。本书编者将近10年在数据治理咨询工作中积累的经验和知识进行总结，通过对数据治理的原理、技术、案例、发展趋势等内容的介绍，为读者进行数据治理、主数据管理实践提供重要的参考。
　　全书分为4篇，共14章。第一篇数据治理概念（第1~3章），面向数据治理组织管理者，从数据治理的必要性、可行性、应用效果等进行展开，回答管理者关心的数据治理的核心问题；第二篇数据治理实施（第4~8章），面向数据治理团队成员，介绍数据治理工作的前期准备、工作步骤、治理过程、后期运维等内容；第三篇数据治理技术（第9~13章），面向IT工程技术人员，从技术视角展开数据治理的系统架构与模型、数据治理质量评估、数据安全保护、数据集成服务等内容；第四篇数据治理前景（第14章），对数据治理应用前景进行展望。
　　本书可作为从事信息化建设的管理者、数据治理团队、IT咨询从业者、IT工程技术人员、相关专业在校师生的参考读物。

　　王兆君高级工程师，北京三维天地科技有限公司高级副总裁。在企业信息化领域服务30年，在智能制造、电子商务、数据治理等领域具有专长。多次主持企业信息咨询规划项目建设，负责过近百家大型企业信息化项目的组织管理工作，承担多项国家标准的制定任务。为能源、化工、电力、建筑、冶金等行业的数据治理建设提供过专业咨询服务。在信息化实施方面积累了丰富的经验。
　　王钺博士，清华大学电子工程系副研究员。长期从事传感网、大数据，以及数据治理领域的研究工作。主持或参与包括国家973、863计划在内的20余项科研项目，发表论文50余篇。
　　曹朝辉数据标准化资深专家，北京三维天地科技有限公司副总裁。从事信息标准化咨询和实施工作超过15年。参与国际贸易、电子商务、人体工效学等方面的“十一五”“十二五”“十三五”国家科技支撑计划项目3项，曾负责和参与过国家食品药品监督管理总局、中国海油、中煤能源、国家电投、中国国电、中国有色、中国铝业、中国黄金、中船重工、中兴通讯、京东方、四川长虹等单位数据标准咨询和系统实施项目，在数据标准构建、数据清洗和治理、数据管控、数据集成和应用等方面具有丰富的经验。

目录
第一篇数据治理概念
第1章数据治理概述
1.1数据治理背景
1.2数据资产和数据管理
1.2.1数据资产的概念和重要性
1.2.2数据资产的构成
1.2.3数据管理的内容、现状和问题
1.3数据治理的目标和挑战
1.3.1数据治理的概念
1.3.2数据治理的目标
1.3.3数据治理的挑战
1.4数据治理的核心内容
1.4.1数据治理的内容
1.4.2数据治理的基本过程
1.4.3数据治理的重点
1.5数据治理的评估——成熟度模型
1.5.1数据管理的成熟度模型
1.5.2您的企业需要数据治理吗
第2章主数据和主数据管理
2.1主数据的概念
2.1.1主数据的定义
2.1.2主数据的特征
2.1.3主数据的范围
2.2主数据管理的概念
2.2.1主数据管理的定义
2.2.2主数据管理体系
2.2.3主数据管理系统的功能
2.3主数据管理的意义
2.3.1主数据管理的必要性
2.3.2主数据管理的意义
第3章主数据驱动的数据治理
3.1数据治理框架
3.1.1国际标准化组织
3.1.2国际数据管理协会
3.1.3国际数据治理研究所
3.1.4IBM数据治理委员会
3.1.5中国电子工业标准化技术协会信息技术服务分会
3.1.6现有数据治理框架的局限
3.2主数据驱动的数据治理框架
3.2.1治理思路和治理目标
3.2.2治理框架
3.2.3技术架构
3.3主数据驱动的数据治理过程
3.3.1过程框架
3.3.2架构阶段
3.3.3治理阶段
3.3.4任务、角色、分工、职责
3.4数据治理工具和系统选型
3.4.1软件公司的行业实践
3.4.2产品特性
3.4.3软件公司的实力
3.4.4软件公司的实施
3.4.5软件的价格
第二篇数据治理实施
第4章主数据项目的准备
4.1主数据项目实施的主要风险
4.1.1组织风险
4.1.2数据风险
4.1.3集成风险
4.1.4其他风险
4.2数据治理管理组织
4.2.1项目组织
4.2.2人员配置
4.2.3管控角色
4.2.4管控流程
4.2.5绩效考核
4.3数据管理规范体系
4.3.1主数据管理规范
4.3.2主数据应用标准
第5章主数据体系规划方法
5.1主数据体系规划的任务和步骤
5.1.1主数据体系规划的任务
5.1.2主数据体系规划的步骤
5.2主数据体系评估方法论
5.2.1主数据管理成熟度模型
5.2.2主数据管理成熟度模型的评价指标
5.2.3主数据管理成熟度评估方法
5.3现状调研与需求分析
5.3.1现状调研
5.3.2现状评估与差距分析
5.3.3需求分析
5.4主数据识别分析方法
5.4.1多因素分析方法
5.4.2主数据类型识别分析
5.4.3主数据元属性识别分析
5.5主数据体系规划设计
5.6主数据体系架构设计
5.6.1主数据管控体系
5.6.2主数据标准体系
5.6.3主数据质量体系
5.6.4主数据安全体系
5.7主数据管理实施规划
5.7.1实施策略
5.7.2实施计划
5.7.3投资预算
第6章主数据项目实施步骤
6.1实施方法概述
6.1.1传统软件开发项目的实施方法
6.1.2主数据项目的实施方法
6.2项目实施阶段的主要任务
6.2.1第一阶段：体系规划阶段
6.2.2第二阶段：平台实施阶段
6.3各主要阶段的任务分工
6.3.1项目启动与需求调研阶段
6.3.2体系规划与架构设计阶段
6.3.3标准建立及主数据平台设计阶段
6.3.4客户化设计、开发、测试、数据清洗阶段
6.3.5系统上线启用阶段
6.3.6系统运维与持续优化阶段
6.4数据准备
6.4.1数据准备方案制订
6.4.2数据采集
6.4.3数据清洗
6.4.4数据导入
6.5人员培训
6.6程序设计
6.6.1程序设计的基本要求
6.6.2程序设计方法
6.6.3产品定制开发
6.7系统集成
6.7.1系统集成架构
6.7.2集成流程
6.7.3系统集成技术
6.8系统测试
6.9系统试运行及上线
6.9.1系统试运行
6.9.2系统切换
6.10系统评价
6.11项目管理
第7章主数据项目的运维和管理
7.1主数据运维管理体系
7.1.1主数据运维管理组织
7.1.2主数据运维管理流程
7.2主数据运维管理内容
7.2.1主数据模型运维管理
7.2.2主数据工作流运维管理
7.2.3主数据生命周期运维管理
7.2.4主数据质量运维管理
7.2.5平台基础服务运维管理
7.2.6主数据存储运维管理
7.2.7数据库系统运维服务
7.2.8主数据安全运维管理
7.2.9基于云服务的运维管理
7.3主数据运维应急响应措施
7.4对外部供应商的运维要求
第8章典型主数据管理产品及实施案例
8.1主数据管理系统模式的分类
8.1.1基于ETL工具的主数据应用
8.1.2基于SOA的主数据管理平台
8.2典型产品和解决方案及其对比
8.2.1SunwayWorld的主数据全生命周期管理平台
8.2.2SAP的MDM解决方案
8.2.3IBM的MDM解决方案
8.2.4Oracle的MDM解决方案
8.2.5InformaticaMDM解决方案
8.2.6产品对比
8.3先进企业的主数据管理现状
8.4主数据典型应用案例介绍
8.4.1石油行业应用举例——某大型石油总公司的主数据管理
8.4.2煤炭行业应用举例——某大型能源集团公司的主数据管理
8.4.3有色金属行业应用举例——某大型有色金属公司的主数据管理
8.4.4建筑行业应用举例——某大型建筑股份有限公司的主数据管理
8.4.5航空航天行业应用举例——某航天建设集团有限公司的主数据
管理
8.4.6基建行业应用举例——某工程建设有限责任公司的主数据管理
8.4.7电器行业应用举例——某大型电器集团的主数据管理
8.4.8机械制造行业应用举例——某大型饲料机械集团的主数据管理
8.4.9水泥行业应用举例——某水泥控股有限公司的主数据管理
8.4.10交通运输行业应用举例——某交通投资建设有限公司的主数据
管理
8.4.11政府部门主数据应用举例——某省经信委项目的主数据管理
第三篇数据治理技术
第9章数据架构和模型
9.1数据架构
9.1.1数据架构规划
9.1.2数据架构设计
9.2数据模型
9.2.1数据模型的定义
9.2.2数据模型的类型
9.2.3数据的物理特征
9.2.4元数据模型
9.2.5主数据模型
9.2.6信息链和信息生命周期
9.2.7数据谱系和影响分析
第10章数据集成
10.1企业应用集成
10.1.1企业应用集成的概念
10.1.2企业应用集成的分类
10.1.3企业应用集成的方法
10.1.4企业服务总线
10.1.5微服务架构
10.2数据集成交换服务
10.2.1制定数据集成交换规范和架构
10.2.2搭建数据交换平台
10.2.3实现数据交换管理
10.3构建数据服务体系
10.4形成数据资产全局视图
第11章数据质量管理
11.1数据质量的定义
11.1.1数据质量
11.1.2数据质量维度
11.1.3数据质量评估
11.1.4数据剖析
11.1.5数据质量问题和数据管理问题
11.1.6合理性检查
11.1.7数据质量阈值
11.1.8过程控制
11.1.9联机数据质量的检测和监控
11.2数据质量评估框架
11.2.1数据质量评估框架的背景
11.2.2数据质量评估框架的范围
11.2.3数据质量评估框架的质量维度
11.2.4数据质量期望
11.3数据质量评估测量类型
11.3.1数据模型的一致性
11.3.2数据内容的有效性
11.3.3评估数据内容的一致性
11.4数据评估方案
11.4.1数据初步评估
11.4.2数据质量改进评估
11.4.3数据质量持续改进
11.5数据质量战略
11.5.1数据质量战略的概念
11.5.2数据战略和数据质量战略
11.5.3把数据作为资产
11.5.4监控数据质量
第12章主数据全生命周期管理
12.1主数据全生命周期管理及意义
12.2主数据全生命周期管理内容
12.2.1数据申请
12.2.2数据审核
12.2.3数据变更
12.2.4数据集成和数据分发
12.2.5数据查询
12.2.6数据归档
12.3数据清洗管理
12.3.1数据清洗的内容
12.3.2数据清洗的一般过程
12.3.3数据清洗的工具
12.4建立主数据全生命周期管理体系
12.4.1概述
12.4.2建立信息架构
12.4.3发现数据对象
12.4.4分类数据对象和定义服务水平
12.4.5建立测试数据管理策略
12.4.6归档数据
第13章数据安全管理
13.1数据安全的意义和作用
13.1.1数据安全的概念
13.1.2数据安全的意义和作用
13.2数据安全的关键内容
13.2.1数据存储安全
13.2.2数据传输安全
13.2.3数据使用安全
13.3数据隐私保护
13.3.1数据隐私保护的意义和作用
13.3.2数据隐私保护面临的问题和挑战
13.3.3数据隐私保护技术
第四篇数据治理前景
第14章主数据管理应用前景展望
14.1主数据管理应用市场发展趋势
14.2大数据时代的主数据管理
14.2.1大数据的定义和特征
14.2.2大数据时代企业管理的新模式
14.2.3主数据管理在大数据分析中的作用
14.2.4大数据对主数据管理的挑战
14.3基于云服务的主数据管理
14.3.1云服务的定义和发展现状
14.3.2主数据管理的云服务模式
14.3.3主数据管理云服务平台的技术基础
14.3.4云服务对企业主数据管理的影响
14.4面向人工智能的主数据管理
14.4.1人工智能的定义及应用领域
14.4.2人工智能在企业中的实践
14.4.3主数据管理与人工智能的关系
14.4.4主数据管理在人工智能中的作用
14.5区块链技术与主数据管理
14.5.1区块链的定义及特征
14.5.2区块链技术的应用领域
14.5.3区块链技术在主数据管理中的应用
14.6主数据管理——企业发展的坚实根基

　　
　　第3章主数据驱动的数据治理
　　企业数据资产可划分成为主数据、业务数据、分析数据三个主要部分。企业运营的主体活动便是围绕这三种数据资产展开。主数据和业务数据支撑起企业的业务流程，而主数据和分析数据则是企业商务智能的基础。其中，主数据会出现在所有重要的业务流程和分析任务中，是企业数据资产中的黄金部分。
　　为确保企业可进行跨业务领域、跨职能部门、跨信息系统的业务协作和整体分析，需对主数据、业务数据、分析数据进行数据治理，保证其一致性，提升数据质量和数据安全水平。因此，主数据、业务数据和分析数据构成了企业数据治理中三个核心的治理域。源于主数据的基础作用，主数据治理是业务数据治理和分析数据治理的前提，为业务系统和分析系统提供基础性的数据服务。
　　主数据驱动的数据治理以主数据作为数据治理的具体切入点而展开，为企业数据治理提供了可操作的治理框架和治理过程。
　　数据治理框架是指为了实现数据治理的总体战略和目标，将数据治理领域所蕴含的基本概念组织起来的一种逻辑结构，可为企业的数据治理实践提供理论指导。
　　主数据驱动的数据治理框架抓住主数据在企业数据资产中的核心位置，综合考虑数据治理在战略、管理、过程、技术等方面的任务和要求，明确了企业数据治理中的关键要素和核心过程。
　　3.1数据治理框架
　　数据治理是围绕数据资产展开的系列工作，以服务组织各层决策为目标，是数据管理的技术、过程、标准和政策的集合。数据治理是一个复杂的系统工程，需要决策者、管理者、系统开发人员、系统使用人员、系统维护人员多方协作才能进行，因此构建科学的数据治理框架是开展数据治理工作的首要任务。
　　数据治理框架是指为了实现数据治理的总体战略和目标，将数据治理领域所蕴含的基本概念(如原则、组织架构、过程和规则等)，利用概念间关系组织起来的一种逻辑结构。它用于描述数据治理领域的基本组件(概念)以及组件间的逻辑关系。引入数据治理框架的目的是为组织的数据治理具体实践提供理论指导，确保数据治理付出的努力获得应有的价值回报。
　　数据治理框架通常需要明确如下几个方面：
　　每个组件的职能以及组件间的逻辑关系。
　　数据治理的工作范围和重点。
　　数据治理的工作任务和目标。
　　建立清晰的组织架构和职责分工。
　　建立数据治理成效的评估标准。
　　为了指导组织有效开展数据治理工作，国际研究机构在各自研究成果和实践经验的基础上，提出了一些通用的数据治理框架，这些框架为各机构的数据治理工作提供了不同的价值视角和关注维度，下面将对其中最具影响力的机构及其数据治理框架进行介绍。
　　3.1.1国际标准化组织
　　国际标准化组织(ISO/IECISO/IEC：InternationalOrganizationforStandardization/InternationalElectrotechnicalCommission,国际标准化组织/国际电工技术委员会。)所提出的数据治理框架建立在IT治理的基础上。2015年，国际标准化组织IT服务管理与IT治理分技术委员会制定了ISO/IEC38500系列标准，提出了IT治理的通用模型和方法论，并认为该模型同样适用于数据治理领域。
　　在数据治理规范相关的ISO/IEC38505标准中，阐述了基于原则驱动的数据治理方法论，提出通过评估现在和将来的数据利用情况，“指导数据治理准备及实施”，并监督数据治理实施的符合性等。
　　ISO/IEC38505为组织的治理主体提供数据治理指南，组织的数据治理主体可以应用上述基于原则的方法来开展数据治理活动，在减少数据风险的同时提升数据的价值。如图31所示，该标准主要关注治理主体评估、指导和监督数据利用的过程，而不关注数据存储结构、恢复等数据管理活动。该标准强调数据治理的责任主体在治理层，治理层在开展数据治理的过程中主要通过制定数据战略来指导数据管理活动，而管理层需要通过管理活动来实现战略目标。同时，治理主体需要通过建立数据策略来保障数据管理活动符合数据战略的需要，进而满足组织的战略目标。
　　图31ISO/IEC38505数据治理框架
　　该标准实际上是对IT治理方法论的进一步扩展，并未对数据治理的实施和落地提供有效的手段。在实践中，数据治理虽根植于IT治理，但两者之间又有明显的区别，IT治理的对象是IT系统、设备和相关基础设施，而数据治理的对象是可记录的数据。因此IT治理过程中过于强调IT投资和系统实施，忽视了商业价值增长中的数据创建、处理、消耗和交换方式。
　　3.1.2国际数据管理协会
　　国际数据管理协会(DAMADAMA：DataManagementAssociationInternational,国际数据管理协会。)提出的DAMADMBOK框架以数据管理为中心，认为数据治理是数据管理的组成部分，是数据管理的核心功能。DAMA框架包括两个子框架：功能子框架和环境要素子框架(图32和图33)。功能子框架总结了数据管理的10个功能，并将数据治理置于核心位置。环境要素子框架提出了数据管理的7个环境要素，并最终建立起10个功能和7个环境要素之间的对应关系。DAMA框架中数据治理的核心工作就是解决数据管理的10个功能与7个要素之间的匹配问题。
　　图32功能子框架
　　图33环境要素子框架
　　DAMADMBOK框架对数据治理和数据管理的界定扩大了数据管理的范畴。一般情况下，我们更倾向于数据治理是为了确保有效管理而做的决策，强调决策制定的责任路径，而数据管理仅仅涉及决策的执行。同时，DAMADMBOK框架更强调数据管理的各项职能以及关键活动，而对于实施数据治理的过程、评估的准则等未能给予清晰而系统的指导。
　　……

　　前言
　　在过去的几十年里，对数据的计算和存储能力以及可用性的巨大进步，促成了当今数据驱动型的世界现状。数据正在对整个人类社会产生巨大的积极影响，它不仅在改变着人们生活的各个方面，而且也使得企业的运营更加高效。互联网数据中心（IDC）预测，到2025年，全球数据圈将扩展至163ZB（1ZB相当于1万亿GB），是2016年所产生16.1ZB数据的10倍，这些数据将给个人带来全新的用户体验并且给企业带来更多的商业机会。
　　虽然已经有部分企业认识到数据资产的重要性，但是随着数据数量、种类以及重要性的不断增加，收集、存储和处理这些数据的难度也越来越大。如何从海量数据中挖掘出对制定决策有价值的信息，成为企业在管理和使用数据过程中面临的主要挑战。
　　数据治理的核心正是加强对数据资产的管控，通过深化数据服务以持续创造价值，企业领导者必须关注其中最重要的那部分数据，只有识别并充分利用这些至关重要的数据，才能发挥其巨大潜力。主数据管理就是从来源复杂的数据中捕捉关键数据，并且对这些具有高业务价值的、可以在企业内跨越各个业务部门被重复使用的数据进行管理，通过为跨构架、跨平台、跨应用的系统提供一致的、可识别的主数据对象来支持整个企业的业务需求，从而提高企业的整体数据质量，提升数据资产价值，推动业务创新，全面增强企业竞争力。主数据管理是一个全面的战略，涵盖所有需要统一定义的、企业所需的核心数据和数据标准。主数据管理的有效途径是建立一个包括主数据标准体系、主数据管控体系、主数据质量体系和主数据安全体系在内的、完整的主数据体系，建立持续长期的管理机制，这样才能构建企业数据的核心治理能力，合理利用企业数据来寻求竞争优势。
　　本书编者从事数据治理和主数据管理咨询工作近10年，亲身经历了数据治理和主数据管理在中国企业信息化浪潮中的兴起、演进和实践的过程。目前，为了配合国家信息化发展战略，很多企业把数据治理和主数据管理系统建设项目提上日程，并且开展了部分信息标准化工作。但是，从总体上看，国内企业的主数据体系建设工作仍然处在起步阶段，很多企业管理者对数据治理和主数据管理的概念理解有限，对主数据管理体系建设的重要性认识不足。编者将在数据治理和主数据管理领域的从业经验和知识积累进行总结，与大家分享和探讨，并希望能回答什么是数据治理和主数据管理、为什么需要数据治理以及如何进行主数据管理等问题。
　　本书坚持“贴近用户”的思路，回答用户关心的核心问题，不仅介绍主数据管理的产生背景、概念、模型和技术等理论知识，同时涵盖主数据管理项目的实施方法和过程、主数据管理的产品和应用案例，使读者对主数据管理项目从底层技术知识到上层应用实践都能有系统的理解。同时，本书有针对性地对行业主流厂家的主数据管理产品进行了全面介绍，让读者能够更加深入地了解行业主流产品与趋势。书中案例都是近几年国内相关行业的领先企业的优秀实践，对其他企业的主数据管理和数据治理工作具有很高的参考价值。另外，书中对大数据、云计算、人工智能和区块链等新兴技术与主数据管理的结合应用也进行了探讨及趋势分析。
　　全书通过对主数据管理的背景、概念、模型、技术、实施、产品、案例、发展等内容的全面介绍，为读者揭开主数据管理这一新兴概念的神秘面纱，为读者进行数据治理、主数据管理实践提供重要参考。
　　全书分为4篇，共14章。第一篇数据治理概念，包括第1~3章，其中第1章介绍数据治理的背景、意义和核心内容，并且引入数据管理的成熟度模型，使用户可以根据自评表得到成熟度评估和治理建议；第2章讨论主数据和主数据管理的概念和意义，为读者揭示主数据管理的必要性；第3章讨论主数据驱动的数据治理，系统地介绍治理框架、治理过程和数据治理工具。第二篇数据治理实施，包括第4~8章，其中第4章介绍主数据治理项目的准备工作；第5章讨论主数据体系规划方法；第6章说明主数据治理项目的具体实施步骤；第7章介绍主数据项目的运维和管理；第8章介绍目前国内主流的主数据管理解决方案和产品，并分析国内主数据管理的先进案例。第三篇数据治理技术，包括第9~13章，其中第9章介绍数据架构和模型的相关技术知识；第10章讨论数据集成技术及其企业应用；第11章介绍数据质量管理的定义、评估框架以及数据质量战略；第12章讨论数据生命周期管理的概念、内容和体系架构；第13章介绍数据安全管理和数据隐私保护。第四篇数据治理前景，包括第14章，主要展望主数据与大数据、云服务、人工智能和区块链应用的发展趋势。
　　本书既可补充从事信息化建设的IT部门人员的专业知识，更能为组织管理者提供信息化知识储备和工作思路，助力IT架构的组织优化。
　　本书也面向咨询公司的顾问和实施人员，不仅针对主数据管理项目，而且对处理各类信息系统项目中可能出现的数据问题都具有一定参考价值。
　　本书还可以作为企业管理软件开发人员的自学参考书，以及相关专业在校师生开阔视野、理论联系实践的参考书。
　　在本书的编写过程中参考和引用了国内外很多书籍和网站的相关内容，部分图片素材和个别实例的初始原型也来源于网络，部分互联网相关资源无法一一列举出处，在此向其作者一并予以感谢。
　　众所周知，一本书难免出现不足和疏漏之处，恳请广大读者将意见和建议反馈给我们，以便在后续版本中不断改进和完善。有关数据治理的更多信息，可关注北京三维天地科技有限公司微信公众号。
　　编者
　　2019年1月