中台落地手记业务服务化与数据资产化

适读人群 ：企业信息化人员 数字化转型研究方向和专业的高校师生

本书属于《数字经济创新驱动与技术赋能丛书》，为企业数字化转型中的中台建设提供项目落地的实施指导，阐述了中台建设的流程与方法，倾心分享了作者多年中台建设的心得体会，是企业数字化转型以及企业信息管理人员的实用用书。

前言
第1章 总体规划1
11 统一内部认识1
12 把握外部环境2
13 中台具体建设思路3
131 阿里巴巴中台建设思路拆解3
132 企业组织变革5
133 业务与数据逻辑架构设计7
14 运营中台规划与设计8
141 运营中台面临的几个典型痛点8
142 行业规范与趋势8
143 运营中台前期准备情况9
第2章 业务服务化建设11
21 多种方法梳理业务11
22 领域驱动（DDD）业务建模13
221 领域驱动建模介绍13
222 业务架构设计16
23 业务服务化带来的效益19
24 服务提供者20
25 服务消费者21
26 服务管理者22
27 运营中台业务服务化设计26
271 梳理各业务线流程26
272 定义业务领域28
273 确定聚合与聚合根28
274 确定限界上下文29
第3章 微服务解决方案31
31 RPC框架：Apache Dubbo32
311 架构分层剖析32
312 核心流程介绍33
313 关键生态组件介绍34
314 Dubbo使用举例35
32 Spring框架：Spring Cloud40
321 网关平台40
322 服务注册与发现41
323 配置管理41
324 负载均衡42
325 服务保护43
326 链路追踪44
327 安全控制44
33 微服务难点剖析45
331 网络延迟45
332 分布式事务46
333 分布式计算48
34 服务网格Service Mesh50
35 无服务架构Serviceless51
36 运营中台基于微服务技术搭建业务中台52
361 微服务划分52
362 整体微服务架构53
363 缓存方案54
364 搜索方案57
365 通信方案58
366 SPI与插件化方案59
第4章 收集各类数据62
41 多渠道收集数据64
42 多数据结构收集数据65
43 收集工具介绍66
431 Apache Flume66
432 Apache Sqoop67
433 Alibaba DataX71
434 爬虫系统工具74
435 Apache Kafka76
436 Alibaba Canal83
44 运营中台数据收集过程92
第5章 数据预处理94
51 数据标准建立95
52 数据建模子系统95
521 关系型数据建模95
522 数据仓库建模96
523 非关系型数据建模99
524 通用建模步骤99
53 元数据管理子系统101
531 元数据的内涵101
532 元数据管理的意义102
533 元数据管理开源方案：Apache Atlas102
54 数据质量控制子系统104
541 数据质量维度度量104
542 数据质量控制方案105
543 数据质量管理开源方案：Apache Griffin106
55 运营中台数据预处理107
551 建立内部数据标准107
552 与业务模型对应的数据模型子系统108
553 自研元数据管理子系统110
554 自研数据质量控制子系统112
第6章 数据湖和数据仓库数据处理113
61 数据仓库113
611 数据仓库分层113
612 数据仓库分类114
62 数据湖与大数据116
621 Lambda架构116
622 Kappa架构117
623 大数据平台118
63 开源数据湖方案：Apache Hudi119
631 Hudi存储120
632 Hudi读取122
64 运营中台数据仓库和数据湖的建设情况123
641 基于Hive的离线数据仓库123
642 基于Kylin的准实时数据仓库125
643 基于Flink+TiDB的实时数据仓库126
644 基于Hudi的数据湖建设127
第7章 数据计算开发130
71 离线计算130
711 MapReduce经典计算引擎130
712 Apache Spark内存计算引擎132
72 在线计算137
721 事务优先类引擎137
722 非事务优先类引擎143
723 预计算类引擎151
73 流式计算154
731 无状态计算引擎：Apache Storm154
732 有状态计算引擎：Apache Flink156
74 运营中台数据资产化过程163
741 典型问题解决方案165
742 性能调优168
第8章 深入挖掘业务数据174
81 利用机器学习进行数据挖掘174
811 监督学习175
812 非监督学习176
813 强化学习177
82 机器学习通用步骤177
821 数据清洗处理178
822 特征工程179
823 对模型进行训练182
824 评估模型的泛化程度184
825 模型保存及导入185
83 运营中台业务数据挖掘188
831 客户数据挖掘：分类营销188
832 安全数据挖掘：运行事件预测190
第9章 安全措施192
91 安全体系范畴192
911 平台安全192
912 数据安全193
913 隐私安全194
92 大数据平台安全开源方案：Apache Ranger195
93 运营中台安全措施197
931 运营中台安全告警系统199
932 运营中台两地三中心数据容灾方案199
第10章 中台运营及周边203
101 运营中的运维：维护优势203
102 运营中的营收：提升价值204
103 各类中台形态204
1031 数据中台204
1032 业务中台205
1033 AI中台206
104 运营中台的运营规划207
后记208

前言
1编写背景
其实不是只有一线大厂才需要中台，中台可以做得很大，但中台的每个组件、每个部分都可以独立发展成为一个产品对外交付。中台也可以做得很小，能形成数据处理微内核即可，只要能贴近业务，然后反哺业务，进而能扩展业务，就算是发挥了自身的价值。理论上凡是需要把两个及以上系统的数据打通、实现业务能力复用共享的领域，就会存在建设中台的需求，而要想使中台发挥更大的作用，相应的组织结构必须调整，这也是最大的难点。
当前，企业信息化建设正逐步进入“中台化”阶段，市面上不乏讲解中台理论、介绍成功案例和中台某方面技术的优秀书籍，但是介绍从0到1落地实操的书还是较少。填补这一空白是编写本书的主要意图。
读者可以通过本书了解中台包含的核心单元、关键技术选型思路、技术核心原理以及如何与业务有效结合以期达到最优效果等，同时也可以了解如何在自己的业务领域中建立一个中台的雏形。
2内容编排规划
中台落地手记 业务服务化与数据资产化不是一本销售中台软件的“营销带货”书，而是一本技术指导手册。在涉及技术内容时，本书会简明扼要地剖析一些选型范围内的技术原理。对一些关键框架或组件，本书重点解决“用什么、为什么用、怎么用”的技术选型思路问题。在茫茫技术海洋中，帮读者聚焦业界普遍流行和容易实践落地的技术，帮助读者拥有系统化建设思路是本书的一大亮点。
中台落地手记 业务服务化与数据资产化在重点阐述建设思路的同时，也注重技术原理的剖析和实操案例的讲解，将一个行业的落地方案贯穿全书。具体来说，本书主要包含以下章节内容。
第1章总体规划。本章回答了有关中台建设的一些疑问，剖析了中台建设的内外环境，借助前人的智慧结晶再加上编者曾主导过多个中台项目的研发和落地，总结出一套中台建设的方法。
第2～3章业务服务化。中台首先强调的是业务复用。把业务都串联起来，使各部门业务之间不再是壁垒高筑。这里面必然有公共基础业务与特定业务之间的联系与区别，那么业务服务化之路也就成了一条必经之路。本部分首先阐述了当前各个分散的业务系统的一些痛点，然后引出服务化的解决方案，进而阐述“微服务架构”这种成熟体系的建设思路及实践过程。
第4～7章数据资产化。在数据时代，一切都是数据，一切皆可数据化。将数据变废为宝，化无序为有序，让数据持续产生价值就是中台的使命。数据之间的关系由孤立变为有机结合，数据系统则由一个个数据孤岛变为数据资产，这些也是中台建设中非常重要的步骤。
第8章深入挖掘业务数据。在一般规则的开发程度上，进一步挖掘深层次的数据关系。例如，客户信用体系、客户交叉销售、安全风险预测等方面的应用。
第9章安全措施。本章讲述在多种生产环境下常见安全威胁的应对措施。
第10章中台运营及周边。已经投入使用的中台同样也需要发展，其中就包括日常的管理与维护、运营等。
各类场合中描述中台的概念众多，然而它们的价值形态和建设方式都是相通的，最终也可以融合成更大的中台。
3致谢
此书是利用业余时间写成的，因此牺牲了很多陪伴家人、朋友的时间，在此特别感谢家人和朋友对我的理解与支持，也感谢读者选择本书。由于编者水平有限，书中难免存在疏漏与不足之处，恳请专家和广大读者不吝赐教。

编 者