9787000005905 9787111613893 9787111578420 9787111562795
Ceph之RADOS设计原理与实现
作者： 谢型果 严军
丛书名： 中兴通讯技术丛书
出版社：机械工业出版社
ISBN：9787111613893
上架时间：2018-12-10
出版日期：2018 年12月
开本：16开
页码：295
版次：1-1
本书是继《Ceph设计原理与实现》之后，中兴通讯 Clove 团队在 Ceph 领域的又一全新力作。Clove团队是Ceph 开源社区国内负盛名的组织贡献者之一，自 Jewel 版起，连续 4 个版本代码贡献量位列世界前三。目前该团队拥有社区技术委员会成员一名，Ceph Member 三名。鉴于 Clove 团队在 Ceph 不断发展与壮大过程中做出的杰出贡献， 创始人 Sage Weil 先生再次为本书亲自作序。
存储是云计算的基石，Ceph 是开源分布式软件定义存储解决方案中的领头羊。本书以大量存储技术的基本原理（例如分布式一致性、文件系统等等）为主线，系统剖析了 Ceph 核心组件 RADOS 的设计原理与具体实现。通过阅读本书可以掌握 Ceph 的核心设计理念与高级应用技巧，从而快速提升自身对于 Ceph 的研发与运维能力。
本书核心内容包括：
（1）Ceph 架构及基本设计理论解析
（2）CRUSH 算法详解与工程应用
（3）高性能本地对象存储引擎——BlueStore
（4）分布式一致性与在线数据恢复
（5）分布式 QoS 与Ceph中的流控策略
（6）纠删码原理及其在 Ceph 中的应用实践
前言
第1章 一生万物——RADOS导论 1
1.1 RADOS概述 3
1.2 存储池与PG 5
1.3 对象演进与排序 6
1.4 stable_mod与客户端寻址 10
1.5 PG分裂与集群扩容 13
1.6 总结和展望 17
第2章 计算寻址之美与数据平衡之殇——CRUSH 19
2.1 抽签算法 20
2.2 CRUSH算法详解 24
2.2.1 集群的层级化描述——cluster map 25
2.2.2 数据分布策略——placement rule 27
2.3 调制CRUSH 33
2.3.1 编辑CRUSH map 34
2.3.2 定制CRUSH规则 38
2.4 数据重平衡 40
2.4.1 reweight 42
2.4.2 weight-set 45
2.4.3 upmap 47
2.4.4 balancer 48
2.5 总结和展望 52
第3章 集群的大脑——Monitor 54
3.1 集群表OSDMap 56
3.2 集群管理 60
3.2.1 OSD管理 60
3.2.2 存储池管理 63
3.2.3 告警管理 66
3.3 总结和展望 66
第4章 存储的基石——OSD 68
4.1 OSD概述 69
4.1.1 集群管理 70
4.1.2 网络通信 71
4.1.3 公共服务 72
4.2 OSD上电 74
4.3 故障检测 75
4.4 空间管理 78
4.5 总结和展望 82
第5章 高效本地对象存储引擎——BlueStore 84
5.1 设计原理 85
5.2 磁盘数据结构 89
5.2.1 PG 89
5.2.2 对象 89
5.3 缓存机制 97
5.3.1 概述 97
5.3.2 实现 100
5.4 磁盘空间管理 103
5.4.1 概述 103
5.4.2 BitmapFreelistManager 106
5.4.3 BitmapAllocator 107
5.5 BlueFS 109
5.5.1 概述 109
5.5.2 磁盘数据结构 112
5.5.3 块设备 116
5.6 实现原理 116
5.6.1 mkfs 117
5.6.2 mount 117
5.6.3 read 119
5.6.4 write 121
5.7 使用指南 126
5.7.1 部署BlueStore 127
5.7.2 配置参数 129
5.8 总结和展望 132
第6章 移动的对象载体——PG 134
6.1 基本概念与术语 135
6.2 读写流程 138
6.2.1 消息接收与分发 145
6.2.2 do_request 147
6.2.3 do_op 149
6.2.4 execute_ctx 155
6.3 状态迁移 163
6.3.1 状态机概述 164
6.3.2 创建PG 167
6.3.3 Peering 170
6.4 总结和展望 184
第7章 在线数据恢复——Recovery和Backfill 185
7.1 Recovery 186
7.1.1 资源预留 186
7.1.2 对象修复 187
7.1.3 增量Recovery和异步Recovery 191
7.2 Backfill 192
7.3 总结和展望 199
第8章 数据正确性与一致性的守护者——Scrub 201
8.1 Scrub的指导思想 202
8.2 Scrub流程详解 207
8.2.1 资源预留 207
8.2.2 范围界定 209
8.2.3 对象扫描 211
8.2.4 副本比对 213
8.2.5 统计更新与自动修复 215
8.3 Scrub抢占 215
8.4 总结和展望 218
第9章 基于dmClock的分布式流控策略 219
9.1 概述 220
9.2 dmClock基本原理 221
9.2.1 mClock 221
9.2.2 dmClock 224
9.3 dmClock算法实现 225
9.3.1 I/O请求入队 227
9.3.2 I/O请求出队 227
9.3.3 实例分析 229
9.4 在Ceph中的应用实践 233
9.4.1 client的界定 233
9.4.2 支持带宽限制 235
9.4.3 存储卷的QoS 237
9.4.4 集群流控策略 240
9.5 总结和展望 244
第10章 纠删码原理与实践 246
10.1 RAID技术概述 247
10.2 RS-RAID和Jerasure 253
10.2.1 计算校验和 254
10.2.2 数据恢复 255
10.2.3 算术运算 256
10.2.4 缺陷与改进 261
10.2.5 Jerasure 262
10.3 纠删码在Ceph中的应用 264
10.3.1 术语 266
10.3.2 新写 268
10.3.3 读 269
10.3.4 覆盖写 271
10.3.5 日志 274
10.3.6 Scrub 275
10.4 总结和展望 275
......
书 名：Ceph分布式存储学习指南
页 数：175
字 数：82000
开 本：16开
纸 张：胶版纸
包 装：平装-胶订
书号ISBN：9787111562795
丛书名：云计算与虚拟化技术丛书
定 价：49
本书将展示规划、部署和有效管理Ceph集群所需的所有技能，指导你了解Ceph的技术、架构和组件。通过分步骤解释每个Ceph组件的部署，本书将带你学习Ceph存储配置以及Ceph与OpenStack的集成。然后，你将了解如何部署和设置Ceph集群，探索各种组件以及为什么需要它们。
推荐序
译者序
作者简介
前言
1章 Ceph存储介绍1
1.1 概要1
1.2 Ceph的历史和发展2
1.3 Ceph和存储的未来3
1.3.1 Ceph云存储解决方案4
1.3.2 Ceph软件定义存储解决方案6
1.3.3 Cehp统一存储解决方案6
1.3.4 下一代架构6
1.3.5 Raid时代的终结7
1.4 兼容性组合8
1.5 Ceph块存储8
1.6 Ceph 文件系统9
1.7 Ceph对象存储10
1.8 Ceph与其他存储解决方案11
1.9 GPFS12
1.10 iRODS12
1.11 HDFS12
1.12 Lustre12
1.13 Gluster13
1.14 Ceph13
总结14
2章 Ceph实战部署15
2.1 使用VirtualBox创建沙箱环境15
2.2 从零开始部署你的一个Ceph集群20
2.3 纵向扩展Ceph集群—添加monitor和OSD22
2.3.1 添加Ceph monitor22
2.3.2 添加Ceph OSD23
总结24
3章 Ceph架构和组件25
3.1 Ceph存储架构25
3.2 Ceph RADOS26
3.2.1 Ceph对象存储设备27
3.2.2 Ceph monitor32
3.2.3 librados35
3.2.4 Ceph块存储35
3.2.5 Ceph对象网关36
3.3 Ceph MDS37
3.4 为Ceph集群部署MDS37
3.5 Ceph 文件系统38
总结39
4章 Ceph内部构件40
4.1 Ceph底层实现40
4.2 对象40
4.3 CRUSH42
4.3.1 CRUSH查找43
4.3.2 CRUSH层级结构44
4.3.3 恢复和再平衡45
4.3.4 编辑CRUSH map45
4.3.5 定制集群布局46
4.4 PG47
4.4.1 计算PG数48
4.4.2 修改PG和PGP48
4.4.3 PG peering、up集合和acting集合50
4.5 Ceph池50
4.6 Ceph数据管理53
总结55
5章 Ceph部署56
5.1 Ceph集群硬件规划56
5.1.1 监控需求57
5.1.2 OSD需求57
5.1.3 网络需求58
5.1.4 MDS需求59
5.2 再次配置VirtualBox环境59
5.3 准备安装Ceph59
5.4 Ceph集群手工部署61
5.4.1 安装依赖61
5.4.2 部署Ceph集群62
5.4.3 部署monitor62
5.4.4 创建OSD65
5.5 扩展集群66
5.5.1 添加monitor67
5.5.2 添加OSD68
5.6 使用ceph-deploy工具部署Ceph集群69
5.7 升级Ceph集群70
5.7.1 升级monitor71
5.7.2 升级OSD72
总结73
6章 Ceph存储配置74
6.1 RADOS块设备74
6.1.1 创建你的一个Ceph客户端75
6.1.2 映射RADOS块设备77
6.1.3 调整Ceph RBD的大小79
6.1.4 Ceph RBD快照80
6.1.5 复制Ceph RBD82
6.2 Ceph 文件系统85
6.2.1 使用内核驱动程序挂载CephFS85
6.2.2 通过FUSE方式挂载CephFS86
6.3 使用Ceph RADOS网关的对象存储87
6.3.1 创建虚拟机88
6.3.2 安装RADOS网关89
6.3.3 配置RADOS网关92
6.3.4 创建radosgw用户96
6.3.5 访问Ceph对象存储97
6.4 S3 API兼容的Ceph对象存储97
总结102
7章 Ceph操作及管理103
7.1 Ceph服务管理103
7.1.1 采用sysvinit运行Ceph103
7.1.2 根据类型启动守护进程104
7.1.3 根据类型停止守护进程105
7.1.4 启动及停止所有守护进程105
7.1.5 启动及停止指定守护进程106
7.2 把Ceph作为服务运行106
7.2.1 启动、停止所有守护进程107
7.2.2 启动、停止指定守护进程107
7.3 横向扩展Ceph集群107
7.4 向Ceph集群中添加OSD节点108
7.5 Ceph集群缩容110
7.6 从Ceph集群中移除并关闭一个OSD111
7.7 从Ceph集群中移除OSD112
7.8 替换出故障的磁盘设备113
7.9 管理CRUSH map115
7.10 确定CRUSH的位置116
7.11 CRUSH map内部细节117
7.12 将不同的池置于不同的OSD中119
总结122
8章 监控Ceph集群123
8.1 监控Ceph集群123
8.1.1 检查集群健康状况124
8.1.2 监控集群事件124
8.1.3 集群利用率统计125
8.1.4 检查集群的状态125
8.1.5 基于密钥的集群验证126
8.2 监控Ceph MON127
8.2.1 MON状态127
8.2.2 MON法定人数状态127
8.3 监控Ceph OSD128
8.3.1 OSD树视图128
8.3.2 OSD统计129
8.3.3 检查CRUSH map129
8.3.4 监控PG130
8.4 监控MDS132
8.5 使用开源管理控制台监控Ceph133
8.5.1 Kraken133
8.5.2 ceph-dash工具136
8.5.3 Calamari138
总结138
9章 Ceph与OpenStack的集成139
9.1 OpenStack简介139
9.2 Ceph—OpenStack的佳搭档140
9.3 创建OpenStack测试环境141
9.3.1 启动一个OpenStack主机141
9.3.2 安装OpenStack143
9.3.3 Ceph和OpenStack145
9.3.4 在OpenStack节点安装Ceph145
9.3.5 为OpenStack配置Ceph146
总结152
10章 Ceph性能调优和基准测试153
10.1 Ceph性能概述153
10.2 Ceph性能关键点—硬件层面154
10.2.1 CPU154
10.2.2 内存155
10.2.3 网络155
10.2.4 磁盘156
10.3 Ceph性能调优—软件层面156
10.3.1 集群配置文件157
10.3.2 配置文件段157
10.4 Ceph集群性能优化158
10.4.1 全局调优参数158
10.4.2 OSD调优参数158
10.4.3 客户端调优参数161
10.4.4 通用调优参数161
10.5 Ceph纠删码162
10.5.1 低成本冷存储164
10.5.2 实现纠删码164
10.6 Ceph缓存分层167
10.6.1 writeback模式167
10.6.2 read-only模式167
10.6.3 部署缓存分层168
10.7 使用RADOS bench对Ceph进行基
.......
书名:Ceph设计原理与实现
：69.00元
作者:谢型果 等
出版社：机械工业出版社
出版日期：2017-09-01
ISBN：9787111578420
字数：287000
页码：298
版次：1
装帧：平装-胶订
开本：16开
商品重量：0.4kg
诞生于2006年的Ceph,是开源社区的明星项目，也是私有云事实上的标准——OpenStack的默认存储后端。作为当前炙手可热的分布式存储系统，Ceph拥有诸多引人注目的特性。本书侧重介绍RADOS及三大核心应用组件——RBD、RGW和CephFS.书中大部分内容基于社区新（2017年1月）发布的Kraken稳定版，侧重于BlueStore、ECoverwrites、QoS等一众新增组件和新增特性的介绍，写作时每章务必追求从基本原理切入，采用循序渐进的方式自然过渡和推广至Ceph,并结合Ceph的核心设计理念指出需要进行哪些必要的改进和裁剪，使得读者不但能够知其然，而且能够知其所以然。此外，为了进一步加深读者印象，每个章节都穿插了不少实用案例，后一章的素材更是全部源于我们日常积累的、从客户处收集的生产案例，极具代表性和通用性，如果读者能够在阅读、学习的同时进行实战演练，理论结合实践，相信必定能够取得更大收益。、
Contents目 录
推荐序一
推荐序二
前 言
第1章 计算为王—— 基于可扩展哈希的受控副本分布策略CRUSH 1
1.1 straw及straw2算法简介 2
1.2 CRUSH 算法详解 6
1.2.1 集群的层级化描述——Cluster Map 7
1.2.2 数据分布策略——Placement Rule 9
1.3 调制CRUSH 14
1.3.1 编辑 CRUSH Map 15
1.3.2 定制CRUSH规则 19
1.3.3 数据重平衡 21
1.4 总结与展望 23
第2章 性能之巅——新型对象存储引擎BlueStore 25
2.1 设计理念与指导原则 26
2.2 磁盘数据结构 30
2.2.1 PG 30
2.2.2 对象 38
2.3 缓存管理 46
2.3.1 常见的缓存淘汰算法 46
2.3.2 BlueStore中的缓存管理 49
2.4 磁盘空间管理 53
2.4.1 常见磁盘空间管理模式 53
2.4.2 BitmapFreelistManager 56
2.4.3 BitmapAllocator 57
2.5 BlueFS 59
2.5.1 RocksDB与BlueFS 59
2.5.2 磁盘数据结构 62
2.5.3 块设备 65
2.6 实现原理 66
2.6.1 mkfs 66
2.6.2 mount 67
2.6.3 read 69
2.6.4 write 72
2.7 使用指南 77
2.7.1 部署BlueStore 77
2.7.2 配置参数 80
2.8 总结与展望 83
第3章 时空博弈——纠删码原理与overwrites支持 84
3.1 RAID技术概述 85
3.2 RS-RAID和Jerasure 90
3.2.1 计算校验和 92
3.2.2 数据恢复 92
3.2.3 算术运算 93
3.2.4 缺陷与改进 99
3.2.5 Jerasure 100
3.3 纠删码在Ceph中的应用 102
3.3.1 术语 104
3.3.2 概述 105
3.3.3 新写 106
3.3.4 读 108
3.3.5 覆盖写 110
3.3.6 日志 112
3.3.7 Scrub 113
3.4 总结与展望 113
第4章 迁移之美 —— PG 读写流程与状态迁移详解 116
4.1 PG概述 117
4.2 读写流程 120
4.2.1 消息接收与分发 127
4.2.2 do_request 129
4.2.3 do_op 129
4.2.4 execute_ctx 136
4.3 状态迁移 146
4.3.1 状态机概述 147
4.3.2 创建 PG 150
4.3.3 Peering 154
4.3.4 Recovery 169
4.3.5 Backfill 172
4.4 总结与展望 173
第5章 控制先行——存储服务质量QoS 175
5.1 研究现状 176
5.2 dmClock算法原理 177
5.2.1 mClock 177
5.2.2 dmClock 179
5.3 QoS的设计与实现 180
5.3.1 优先级队列（prio） 181
5.3.2 权重的优先级队列（wpq） 183
5.3.3 dmClock队列 184
5.3.4 Client的设计 191
5.4 总结与展望 192
第6章 无心插柳——分布式块存储RBD 195
6.1 RBD架构 195
6.2 存储组织 196
6.2.1 元数据 197
6.2.2 数据 209
6.3 功能特性 211
6.3.1 快照 211
6.3.2 克隆 216
6.4 总结与展望 219
第7章 应云而生——对象存储网关RGW 220
7.1 总体架构 221
7.2 数据组织和存储 222
7.2.1 用户 225
7.2.2 存储桶 228
7.2.3 对象 229
7.2.4 数据存储位置 231
7.3 功能实现 232
7.3.1 功能特性 233
7.3.2 I/O路径 235
7.3.3 存储桶创建 240
7.3.4 对象上传 242
7.3.5 对象下载 244
7.4 总结与展望 244
第8章 重现—— 分布式文件系统 CephFS 246
8.1 文件系统基础知识 247
8.1.1 文件系统 247
8.1.2 文件系统中的元数据 249
8.1.3 硬链接和软链接 250
8.1.4 日志 251
8.2 分布式文件系统CephFS 252
8.2.1 CephFS设计框架和背景 252
8.2.2 MDS的作用 254
8.3 MDS设计原理与实现 255
8.3.1 MDS元数据存储 255
8.3.2 MDS负载均衡实现 260
8.3.3 MDS故障恢复 268
8.4 总结与展望 271
第9章 运用之妙—— 应用案例实战 272
9.1 实战案例一：Ceph 集群定时Scrub 272
9.2 实战案例二：Ceph对接OpenStack 274
9.3 实战案例三：Ceph数据重建配置策略 288
9.4 实战案例四：Ceph集群Full紧急处理 290
9.5 实战案例五：Ceph快照在增量备份的应用 292
9.6 实战案例六：Ceph集群异常watcher处理 297
9.7 总结与展望 298
