博文视点：对象存储实战指南

产品特色

编辑推荐

从结绳记事中的“绳”到造纸术和活字印刷术，再到电子计算机，再到云计算，信息存储的技术风云变迁，无一不见证着数据的爆炸式增长。

对象存储作为云计算的数据存储基石，实现了计算逻辑的存储卸载，自身就可以提供数据的存储和访问服务。对象存储由于接入数据的广泛性和灵活性，允许各类数据都能流入，存储空间和对象数均呈现指数规律增长，所以自然而然地成为数据湖。

本书□□详解以下内容、

对象存储的历史由来：从块存储到文件存储，再到对象存储；

存储技术架构：存储区域网络架构、网络附加存储架构、对象存储架构，以及公共云对象存储服务实现架构；

对象存储的技术细节：协调和□□、命名和同步、容错和数据完整性、元数据索引设计、对象存储元数据；

对象存储的操作和使用：上手、迁移、安全与合规、保护及常用应用场景；

对象存储的未来展望：数据湖存储、混合云存储、移动网络5G存储、人工智能存储、存储新技术趋势。

内容简介

对象存储作为云计算的数据存储基石，实现了计算逻辑的存储卸载，自身就可以提供数据的存储和访问服务。本书□□详解了对象存储的历史由来（从块存储到文件存储，再到对象存储）；存储技术架构（存储区域网络架构、网络附加存储架构、对象存储架构，以及公共云对象存储服务实现架构）；对象存储的技术细节（协调和□□、命名和同步、容错和数据完整性、元数据索引设计）；对象存储的操作和使用（快速上手、迁移数据到对象存储、安全与合规、数据保护、应用与实践）；对象存储的未来展望（数据湖存储、混合云存储、移动网络5G存储、人工智能存储、存储新技术趋势）。本书适合云计算开发、使用和运维人员，或作为资深技术专家全面分析对象存储的参考书，还适合信息管理专业技术人员、IT经理人等专业人士、技术专家、高校学生，以及更多愿意了解和投入存储事业的人们参考阅读。

前言序言

存储，在人类发展的漫长历史长河中，始终扮演着至关重要的角色。远古时代结绳记事中的“绳”是记录事件的载体，随着文字和图画的产生，记载甲骨文的龟壳和承载先人绘画的岩壁成为历史的印记。但是这些信息记录方式原始且效率低下，中国发明的造纸术和活字印刷术，让信息以书的形式得以大规模传播和保存，大大提高信息记录和传播的效率。

□0世纪中叶，以电子计算机为代表的第三次科技革命，推动了信息技术急风骤雨般的演进，也激发了专业存储厂家的创新浪潮，从早期大型机的纸带存储到广泛使用的光盘存储、磁盘存储，从单机存储到分布式存储，从存储区域网络到网络共享存储，无一不见证着数据的爆炸式增长。

□1世纪初，云计算技术风起云涌，从商业和技术上改变了企业的IT技术设施，掀开了信息科技发展的新篇章。云计算以其崭新的商业模式、按需付费的使用方式、弹性伸缩的扩展能力，迅速得到业界的广泛认可。

对象存储作为云计算的数据存储基石，是首批商业化的云存储服务。对象存储作为创新的云存储服务，它不同于存储区域网络和网络附加存储技术需要额外的服务器加载数据才能对外提供服务；对象存储实现了计算逻辑的存储卸载，自身就可以提供数据的存储和访问服务。用户只需要将网站的页面和图片存放到对象存储，客户端就可以直接通过对象存储提供的域名访问网站，从而提供一站式的网站托管服务，□终实现高效的信息访问。

对象存储支持互联网访问的公网地址和云计算访问的私网地址，因此，服务器、移动设备、物联网设备等均可访问对象存储。由于提供多类设备的广泛接入能力，必然要支持不同数据类型的存取，以及多种应用的灵活访问方式，从而让各类数据都能流入对象存储；并且对象存储因其安全、稳定、可靠、弹性的特性，天然就是海量数据存放的□佳选择。随着存储空间和对象数呈指数级增长，对象存储自然而然地成为数据湖。管理超大数据湖的容量空间，提供接近无限规模的对象数保存能力，保证多租户下数据的安全性和隔离性，实现不同热度数据的生命周期管理达到领先的□□□优势，也成为对象存储的本质特征和巨大挑战。

本书为阿里云内部核心技术人员所著，从分布式存储基础架构入手，结合技术原理和产品实践展开讨论，并从入门和使用维度深入介绍对象存储的应用实战。阿里云对象存储的产品验证和客户场景□佳实践，具有重大的参考意义和示范效应。

尽管云计算已发展十多年，但是与其相关的计算、存储、网络等技术还远未成熟，未来还有巨大的创新空间。希望未来的云能够跟随数字化转型深入各行各业，滋养越来越多的应用，进而促进全球信息技术的演进。

                                                    舒继武

                                                 清华大学教授

中国计算机学会信息存储技术专业委员会主任

                                              □0□1年7月于北京

目录

□□篇  基础与原理
□□章  对象存储概述 □
1．1  什么是对象存储 □
1．1．1  存储发展历史 □
1．1．□  块存储 4
1．1．3  文件存储 5
1．1．4  对象存储 5
1．□  存储技术对比分析 6
1．3  存储技术架构 8
1．3．1  存储区域网络架构 8
1．3．□  网络附加存储架构 9
1．3．3  对象存储架构 10
1．4  公共云对象存储服务实现架构 11
1．4．1  基于分布式文件系统构建 11
1．4．□  基于本地键值存储构建 1□
1．5  公共云对象存储服务的关键能力 1□
1．5．1  安全性 13
1．5．□  高可靠 13
1．5．3  高可用 13
1．5．4  扩展性 14
1．5．5  □□□ 14
1．6  小结 14
第□章  协调和□□ 15
□．1  协调 15
□．1．1  协调技术发展史 15
□．1．□  两将军问题 □0
□．1．3  拜占庭将军问题 □1
□．1．4  原子广播 □□
□．1．5  视图□□ □3
□．1．6  PAXOS □4
□．1．7  RAFT □6
□．1．8  协调达成共识算法分析 □7
□．1．9  对象存储服务的共识应用 □9
□．□  □□ 30
□．□．1  数据冗余技术 30
□．□．□  □□一致性 3□
□．□．3  □□协议 35
□．□．4  存储领域的□□技术应用 37
□．3  小结 39
第3章  命名和同步 40
3．1  命名技术 40
3．1．1  命名方式 40
3．1．□  命名分类 47
3．1．3  对象存储命名应用 49
3．□  物理时钟同步 53
3．□．1  物理时钟同步技术 53
3．□．□  对象存储物理时钟同步应用 55
3．3  逻辑时钟 56
3．3．1  逻辑时钟技术 56
3．3．□  对象存储逻辑时钟应用 59
3．4  小结 60
第4章  容错和数据完整性 61
4．1  容错 6□
4．1．1  典型故障场景 6□
4．1．□  故障模式 66
4．1．3  故障检测和分析 67
4．1．4  故障容错效果 71
4．1．5  分布式提交技术 7□
4．1．6  日志恢复技术 74
4．1．7  对象存储容错 75
4．□  数据完整性 76
4．□．1  数据损坏源头 77
4．□．□  数据损坏类型 77
4．□．3  数据损坏发生时刻 78
4．□．4  数据损坏检测方法 78
4．□．5  数据损坏检测算法 78
4．□．6  数据损坏修复技术 79
4．□．7  对象存储数据损坏 79
4．3  小结 80
第5章  元数据索引设计 8□
5．1  对象存储元数据需求分析 83
5．1．1  业界NoSQL分析 86
5．1．□  采用NoSQL领域的键值存储技术 89
5．□  键值存储原理 89
5．□．1  基于B树的键值存储 89
5．□．□  基于LSM-Tree的键值存储 9□
5．□．3  键值存储布局 94
5．3  分布式键值存储实现 95
5．3．1  基于单机键值存储构建分布式键值系统 95
5．3．□  基于分布式文件系统构建分布式键值系统 96
5．4  对象存储元数据 97
5．4．1  基于分布式数据库构建元数据 97
5．4．□  基于分布式键值存储构建元数据 97
5．5  小结 97
第二篇  操作和使用
第6章  快速上手 100
6．1  快速使用公共云对象存储服务 100
6．□  基本概念 100
6．□．1  用户的访问密钥 101
6．□．□  存储空间 103
6．□．3  对象或文件 103
6．□．4  地域 103
6．□．5  访问域名 104
6．3  开通对象存储服务 104
6．3．1  创建存储空间 105
6．3．□  上传对象 107
6．3．3  下载对象 109
6．3．4  查看对象 110
6．3．5  删除对象 110
6．3．6  删除存储空间 111
6．4  小结 11□
第7章  迁移数据到对象存储 113
7．1  离线迁移设备 113
7．1．1  什么是离线迁移 113
7．1．□  迁移设备类型 114
7．1．3  迁移数据到更多云产品 115
7．1．4  迁移流程 115
7．1．5  注意事项 117
7．□  在线迁移服务 118
7．□．1  什么是在线迁移 118
7．□．□  同云对象存储OSS内的在线数据迁移 118
7．□．3  同云产品间的在线数据迁移 1□1
7．□．4  跨云的在线数据迁移 1□4
7．□．5  注意事项 1□5
7．3  迁移工具 1□6
7．3．1  ossimport工具 1□6
7．3．□  ossutil工具 1□7
7．3．3  镜像回源 1□8
7．4  小结 131
第8章  安全与合规 13□
8．1  安全配置 13□
8．1．1  账户认证 13□
8．1．□  访问授权 137
8．1．3  数据加密 143
8．1．4  监控审计 145
8．1．5  沙箱防护 146
8．□  合规管理 146
8．□．1  清单 146
8．□．□  合规保留 148
8．3  小结 149
第9章  数据保护 150
9．1  存储稳定性 150
9．1．1  数据故障率和错误率 150
9．1．□  对象存储各存储类型的稳定性指标 154
9．□  同城冗余存储 155
9．3  跨地域□□ 157
9．4  异地多活 158

9．5  版本控制 159
9．5．1  技术介绍 160
9．5．□  开启版本控制 16□
9．5．3  暂停版本控制 165
9．5．4  删除标记 167
9．6  小结 168
□□0章  应用与实践 169
10．1  场景优化功能 169
10．1．1  访问域名 169
10．1．□  传输加速 171
10．1．3  上传对象 173
10．1．4  下载对象 179
10．1．5  单连接限速 180
10．1．6  对象元信息 180
10．1．7  存储空间标签和对象标签 181
10．1．8  选取内容 18□
10．□  生命周期管理 183
10．□．1  规则介绍 183
10．□．□  存储类型转换 185
10．□．3  解冻对象 186
10．3  静态网站托管 187
10．3．1  使用说明 187
10．3．□  静态网站托管绑定自定义域名 188
10．4  数据处理应用场景 189
10．4．1  场景介绍 190
10．4．□  原生图片处理 19□
10．4．3  原生□□处理 □0□
10．4．4  集成数据处理 □03
10．5  应用场景□佳实践 □07
10．5．1  随机化对象名前缀 □07
10．5．□  网页上传数据 □08
10．5．3  移动应用上传数据 □11
10．5．4  基于对象存储的大数据分析 □14
10．5．5  敏感数据保护场景 □18
10．6  小结 □□0
第三篇  总结与展望
□□1章  新场景、新趋势、新技术 □□□
11．1  数据湖存储 □□□
11．1．1  数据湖介绍 □□□
11．1．□  基于对象存储构建数据湖 □□3
11．1．3  数据湖架构 □□4
11．1．4  数据湖应用场景 □□7
11．1．5  数据湖应用实践 □3□
11．1．6  数据湖存储的关键特性 □36
11．□  混合云存储 □37
11．□．1  混合云介绍 □37
11．□．□  混合云存储产品 □39
11．□．3  混合云存储的关键特性 □43
11．3  移动网络5G存储 □43
11．3．1  移动网络5G介绍 □43
11．3．□  中心存储 □45
11．3．3  边存储 □45
11．3．4  端访问 □45
11．3．5  5G存储的关键特性 □47
11．4  人工智能存储 □47
11．4．1  人工智能介绍 □47
11．4．□  人工智能存储架构 □47
11．4．3  人工智能存储的关键特性 □49
11．5  存储新技术趋势 □50
11．5．1  新技术趋势 □50
11．5．□  硬盘技术 □50
11．5．3  固态硬盘新技术 □51
11．5．4  内存新技术 □5□
11．5．5  新技术影响存储 □5□
11．6  小结 □5□

作者简介

罗庆超□□□□资深技术专家，阿里云对象存储负责人，在企业存储和云存储领域有丰富的技术与产品经验。曾就职于世界500强以及知名跨国公司的存储团队，负责过高端存储阵列的数据路径架构设计和开发，作为海量存储首席架构师负责文件存储、对象存储以及下一代分布式云存储的架构设计和实现，同时在灾备以及数据管理领域亦有多年开发和运维经验。所带领团队研发的技术，多次在大规模商业项目中成功落地。毕业于电子科技大学计算机系统架构专业，并获得硕士学位，在相关技术研究领域，支持并参与多本行业专业书籍的编写工作，被授予包括块存储、文件存储、对象存储、数据湖等方向的□0多项发明专利，技术成果成功应用到产品创新迭代。