Ceph企业级分布式存储：原理与工程实践

（1）作者背景深厚：3位作者来自红帽和平安科技，至少都有10年以上从业经验，在Ceph等分布式存储领域有丰富经验。

（2）立足工程实践：本书虽然讲了Ceph的原理与架构，但目标为Ceph在企业的落地服务，所有内容全部围绕企业实践展开。
（3）近10专家推荐：本书得到了来自近10家互联网企业和传统企业的领导与技术专家的一致好评和推荐。
（4）手把手教：所有实践内容，都有详细的操作说明，并附代码或图片，确保读者看了就能会，学会就能用。

内容简介
这是一本从工程角度讲解Ceph原理、实战和应用的著作，得到了近10家企业的高管和技术专家一致推荐。三位作者是RedHat和平安科技的资深技术专家，在分布式存储领域积累了丰富的经验。
虽然本书对Ceph的原理和架构做了详细的讲解，但这不是目的，本书希望读者在充分理解Ceph的原理的基础上，能够将Ceph正确、高效地应用于工程实践，在实践的过程中持续对Ceph进行优化和运维，z终实现Ceph的落地。
全书一共16章，围绕原理、实战、应用3个维度展开。
第1部分 Ceph原理（第1~4章）
这部分首先介绍了Ceph的必备常识，然后系统讲解了Ceph的架构设计，z后分析了Ceph的核心技术组件和客户端组件的原理。
第二部分 Ceph实战（第5~13章）
从实战的角度讲解了Ceph集群的规划、部署、管理，以及Ceph的对象存储、文件存储、块存储、容灾、故障定位和性能调优。这部分内容是本书的重点，决定了Ceph落地后的性能、容量、未来的运维便捷度和可扩展性等，想采用Ceph作为数据中心分布式存储方案的读者应重点关注。
第三部分 Ceph应用（第14~16章）
通过企业网盘搭建，以及与OpenStack和OpenShift等平台对接等典型应用场景相关的案例，讲解了Ceph的工程实践。

作者简介
景显强
红帽软件（北京）有限公司（RedHat）资深解决方案架构师，拥有10余年IT从业经验。在Linux内核开发及运维、分布式存储建设、IaaS云平台建设、PaaS云平台建设、企业自动化运维建设等方向拥有丰富的经验，曾帮助国内众多金融和制造业企业实现数字化转型。
龚向宇
红帽软件（北京）有限公司副首席咨询顾问，拥有近15年Linux开发与咨询经验。对Linux内核、云基础网络、存储均有较深入的理解，曾帮助国内众多企业落地基础架构平台相关软件，在项目落地中积累了丰富的经验。
黄军宝
平安科技云架构专家，曾任红帽软件（北京）有限公司首席讲师和解决方案架构师，拥有10余年IT行业经验。深入理解Linux操作系统，擅长开源架构方案设计，如OpenStack架构设计、基于OpenShift和Kubernetes的容器云架构设计、软件定义存储方案设计。多次主导运营商和金融企业私有云平台IaaS/PaaS方案落地。

推荐序
前　言
第一部分　Ceph原理
第1章　Ceph概述2
1.1　软件定义存储2
1.1.1　基本概念介绍2
1.1.2　软件定义存储工作机制3
1.1.3　软件定义存储的优势4
1.2　Ceph的发展史5
1.2.1　研究阶段5
1.2.2　孵化阶段6
1.2.3　商业化阶段7
1.2.4　成熟阶段8
1.3　Ceph的市场分析9
1.3.1　存储形态的转型9
1.3.2　存储形态演变的特点10
1.3.3　软件定义存储的市场分析11
1.4　Ceph的适用场景12
1.4.1　分析类应用场景举例13
1.4.2　IaaS云平台应用场景举例14
1.4.3　富媒体和归档应用场景举例15
1.4.4　企业文件同步和共享应用场景举例16
1.4.5　服务器和应用程序存储场景举例17
1.5　软件定义存储的商业产品18
1.6　本章小结20
第2章　Ceph架构分析21
2.1　Ceph集群的组成架构21
2.2　Monitor节点分析23
2.2.1　Ceph Cluster Map25
2.2.2　Ceph Monitor的Quorum机制25
2.2.3　Ceph Monitor一致性25
2.3　OSD节点分析26
2.3.1　运行OSD所需服务器配置推荐26
2.3.2　OSD的Scrub29
2.3.3　回填OSD30
2.3.4　OSD恢复30
2.4　Manager节点分析30
2.5　Ceph对象存储和对象网关31
2.5.1　对象存储31
2.5.2　对象网关32
2.6　文件存储元数据节点分析33
2.6.1　Ceph文件存储34
2.6.2　CephFS限制因素34
2.7　iSCSI网关节点分析36
2.8　本章小结36
第3章　Ceph核心技术组件37
3.1　Ceph的关键特性37
3.2　存储池39
3.2.1　Ceph技术组件的全景架构39
3.2.2　存储池定义的内容40
3.3　Ceph认证41
3.4　Ceph放置组42
3.4.1　PG基本概念42
3.4.2　放置组的计算方法43
3.4.3　PG和PGP的区别45
3.5　CRUSH算法46
3.6　Ceph数据副本49
3.7　Ceph纠删码49
3.8　Ceph对象存储技术51
3.8.1　FileStore技术52
3.8.2　BlueStore技术54
3.9　Ceph心跳检查55
3.10　Ceph Peering56
3.11　Ceph数据再平衡56
3.12　Ceph数据完整性57
3.13　本章小结58
第4章　Ceph客户端组件59
4.1　Ceph支持的客户端类型59
4.2　Ceph客户端的Watch/Notify机制60
4.3　Ceph客户端的独占锁61
4.4　Ceph客户端的对象映射62
4.5　Ceph客户端的数据条带化63
4.6　本章小结65
第二部分　Ceph实战
第5章　Ceph集群规划68
5.1　版本规划68
5.2　基础环境规划69
5.2.1　推荐使用的操作系统69
5.2.2　限制条件70
5.2.3　主要支持的特性71
5.3　服务器规划71
5.3.1　追求良好的IOPS的场景71
5.3.2　追求良好的吞吐量场景72
5.3.3　追求低成本、高容量的场景73
5.3.4　实验环境下服务器的最小配置73
5.4　组网规划74
5.4.1　组网规划建议74
5.4.2　Ceph消息通信框架76
5.4.3　防火墙规划76
5.5　本章小结77
第6章　Ceph集群安装部署78
6.1　基础环境准备78
6.1.1　创建虚拟机79
6.1.2　配置服务器80
6.2　准备安装介质81
6.3　安装前检查82
6.4　安装Ceph85
6.5　集群检查92
6.6　本章小结101
第7章　使用Ceph对象存储102
7.1　部署对象网关102
7.2　通过S3接口使用对象存储105
7.3　本章小结109
第8章　使用Ceph块存储110
8.1　创建和删除池110
8.2　RBD设备的配置及使用112
8.3　RBD快照114
8.4　RBD Image克隆116
8.5　RBD Image数据的导入/导出117
8.6　本章小结117
第9章　使用Ceph文件存储118
9.1　部署MDS118
9.2　使用CephFS120
9.3　CephFS扩展属性121
9.4　本章小结123
第10章　管理Ceph集群124
10.1　Ceph的常用命令124
10.2　配置CRUSH Map129
10.3　添加磁盘134
10.4　删除磁盘137
10.5　本章小结138
第11章　Ceph容灾140
11.1　对象存储容灾 141
11.1.1　对象存储容灾概述141
11.1.2　Ceph对象网关多站点介绍141
11.1.3　配置多站点对象网关实现容灾142
11.2　RBD块存储容灾157
11.2.1　数据复制方向157
11.2.2　数据复制模式159
11.2.3　配置RBD Mirror159
11.3　文件存储容灾164
11.4　本章小结164
第12章　调优方法165
12.1　性能测试工具166
12.2　测试用例167
12.2.1　RBD测试用例167
12.2.2　网络测试用例170
12.2.3　对象存储测试171
12.2.4　RADOS测试用例172
12.3　推荐的调优方向174
12.3.1　硬件调优174
12.3.2　网络调优176
12.3.3　内存调优178
12.3.4　Scrub179
12.3.5　Ceph配置参数调优179
12.4　本章小结180
第13章　故障定位方法181
13.1　获取集群状态181
13.2　诊断Monitor问题183
13.3　诊断对象问题184
13.4　数据平衡185
13.5　重要文件目录185
13.6　使用Ceph集群的注意事

为什么写作本书
本书的几位作者都曾在大型企业工作，技术方面各有所长，在企业项目规划和交付过程中都积累了很多经验。一次偶然的机会，我们谈论起分布式存储话题，谈到系统落地的各种困难，为企业客户做的各种努力，以及未来这项技术的发展趋势，一致觉得写一本关于分布式存储的书把工程实践经验分享出来是一件有意义、有价值的事。
在云计算、大数据、AI等技术的发展浪潮推动下，企业数据中心的数据存储形式要求既要兼顾传统业务的数据安全，又要保证云计算平台的数据安全，同时企业存储选型还要兼顾性能、成本、易用性、扩展性等。Ceph作为分布式存储方案，已经获得全球众多企业认可，在开源社区项目中的影响力巨大。在经过20多年的发展后，Ceph已经在性能和稳定性上取得了突破性进展。众多企业已经开始尝试将Ceph作为其数据中心分布式存储的开源方案。但能完整地指导企业用户落地分布式存储的相关资料还很少，因此我们坚定了编写本书的决心。
本书包括原理、实战和应用，逐步引导企业落地Ceph，同时帮助企业相关人员在方案落地后对Ceph进行优化和持续运维，推动企业数据存储方案的转型，助力企业在云计算、大数据、AI等技术上稳步发展。
读者对象
本书适读人群如下：
分布式存储技术爱好者
企业系统管理员
企业云资源管理员
企业平台架构师
企业数据中心信息官
如何阅读本书
本书分三部分进行讲解，包括原理、实战、应用。
原理部分（第1～4章）介绍Ceph的基本理论、实现原理，对初学者很有帮助。
实战部分（第5～13章）介绍工程实践、规划集群、部署落地、使用及容灾，以及如何落地Ceph集群并对其进行运营，对投产人员和爱好者有着很重要的指导意义。
应用部分（第14～16章）主要讲解Ceph集群工程实践示例，例如搭建企业云盘以及Ceph和OpenShift、OpenStack等平台的集成，介绍集成时使用的主要技术手段，对具体应用相关技术的专家有很重要的指导意义。
如果你对Ceph集群了解较少，可以先从原理部分开始，掌握基本知识后，再通过实战部分构建自己的Ceph集群，最后根据实际需求落地应用。实战部分使用的开源Ceph方案在后续版本中会有所变动，但本书当前选定的版本仍然可以作为参考来指导Ceph的落地。
在线资源获取
笔者在编写过程中参考了Red Hat官方的相关技术文档、Ceph的官方指导文档。如果你在阅读过程中有疑问，可以访问如下网站获取相关内容。
https://access.redhat.com/documentation/en-us/red_hat_ceph_storage/4/html/hardware_guide/index
https://access.redhat.com/documentation/en-us/red_hat_ceph_storage/4/html/architecture_guide/index
https://access.redhat.com/documentation/en-us/red_hat_ceph_storage/4/html/configuration_guide/index
https://access.redhat.com/documentation/en-us/red_hat_ceph_storage/4/html/object_gateway_for_production_guide/index
https://access.redhat.com/documentation/en-us/red_hat_ceph_storage/4/html/file_system_guide/index
https://access.redhat.com/documentation/en-us/red_hat_ceph_storage/4/html/storage_strategies_guide/index
https://docs.ceph.com/en/latest/
本书勘误
由于Ceph更新很快，书中的内容无法与Ceph社区的最新内容同步，但这不影响你在阅读过程中获取相关经验。如果对书中内容有疑问，欢迎发送邮件至ceph@bt-linux.org，我们可以共同讨论。期待你的联系。
致谢
书稿终成，掩卷思量，饮水思源，在此，诚挚感谢在本书编写期间提供帮助和支持的所有人。
首先，本书的成稿离不开众多鲜活的客户案例，在此感谢所有提供使用反馈的客户和技术专家。你们的认可和支持为我们编写本书提供了巨大动力。
其次，感谢各位领导、专家的大力支持，感谢你们提供的技术素材、推荐、评语、资源。各位领导、专家的支持让我们坚定了写书的信念，再次感谢你们。
最后，感谢让本书得以付梓的幕后英雄，包括提供经验指导的同人以及机械工业出版社华章公司的编辑。你们的付出使本书得以出版，感谢你们。