内容介绍

 

Presto是专门为大数据实时查询计算而设计和开发的产品。由于Presto是基于Java语言开发的， 因此，对使用者和开发者而言， Presto极易学习、使用并针对特定的业务场景进行改造开发和性能 优化。无论是对多数据源支持，还是高性能、易用性、可扩展性等方面， Presto都是大数据实时查 询计算产品中的佼佼者。 本书按照由浅入深的顺序对Presto进行了全方位的细致讲解，具体内容包括Presto概述、 Presto安装与部署、 Presto RESTful框架解析、提交查询、生成查询执行计划、查询调度、查询执行、队列、System Connector、 Hive Connector、 Kafka Connector、 Connector开发、 Functions开发、 JD-Presto功能改造、 Presto性能调优、 Presto应用场景。 本书对Java研发工程师，在大数据技术领域从业的研发工程师、运维工程师、架构师，对大数 据研究方向感兴趣的大学老师和学生、以及大数据技术的入门学者，从事海量数据分析应用的开发 者、研究者都有很强的参考价值。

目    录

 

第一部分 基础篇

第 1 章 概述2

1.1 Presto 背景及发展2

1.2 Presto 特点2

1.3 基本概念3

1.3.1 Presto 服务进程3

1.3.2 Presto 模型4

1.3.3 Presto 查询执行模型 5

1.4 Presto 整体架构9

1.4.1 硬件架构9

1.4.2 软件架构9

1.5 小结11

第 2 章 Presto 安装与部署12

2.1 环境说明 12

2.2 准备工作13

2.2.1 建立 SSH 信任关系13

2.2.2 安装 Java 17

2.2.3 安装 Maven 17

2.2.4 安装 Hive 18

2.3 源码编译21

2.3.1 下载源码 21

2.3.2 源码结构说明 22

2.3.3 编译 26

2.4 部署 30

2.4.1 服务部署 30

2.4.2 客户端部署 38

2.4.3 JDBC 使用 40

2.5 小结 42

第二部分 核心设计篇

第 3 章 Presto RESTful 框架解析 44

3.1 Statement 服务接口 44

3.2 Query 服务接口 47

3.3 Stage 服务接口48

3.4 Task 服务接口49

3.5 小结 52

第 4 章 提交查询 53

4.1 提交查询的步骤 53

4.2 源码解析 53

4.3 提交查询的流程 60

4.4 小结 61

第 5 章 生成查询执行计划 62

5.1 基本概念 63

5.1.1 Node 63

5.1.2 Metadata API 67

5.2 词法与语法分析 68

5.2.1 语法规则 69

5.2.2 词法分析 69

5.2.3 语法分析 71

5.3 获取 QueryExecution 72

5.3.1 获取 QueryExecutionFactory 72

5.3.2 创建 QueryExecution 73

5.3.3 启动 QueryExecution 74

5.4 语义分析 77

5.4.1 Statement 分析 77

5.4.2 Relation 分析84

5.4.3 表达式分析 91

5.5 执行计划生成91

5.5.1 执行计划节点 91

5.5.2 SQL 执行计划93

5.5.3 Relation 执行计划95

5.5.4 Query 执行计划 99

5.6 执行计划优化102

5.6.1 ImplementSampleAsFilter 102

5.6.2 CanonicalizeExpressions 102

5.6.3 SimplifyExpressions 102

5.6.4 UnaliasSymbolReferences 103

5.6.5 PruneRedundantProjections 103

5.6.6 SetFlatteningOptimizer 103

5.6.7 LimitPushDown 104

5.6.8 PredicatePushDown 104

5.6.9 MergeProjections 104

5.6.10 ProjectionPushDown 104

5.6.11 IndexJoinOptimizer105

5.6.12 CountConstantOptimizer 105

5.6.13 WindowFilterPushDown 105

5.6.14 HashGenerationOptimizer 105

5.6.15 PruneUnreferencedOutputs 106

5.6.16 MetadataQueryOptimizer 106

5.6.17 SingleDistinctOptimizer 106

5.6.18 BeginTableWrite 106

5.6.19 AddExchanges 107

5.6.20 PickLayout 107

5.7 执行计划分段107

5.7.1 Source 107

5.7.2 Fixed 107

5.7.3 Single 107

5.7.4 Coordinator_only 107

5.8 示例108

5.8.1 Count 执行计划108

5.8.2 Join 执行计划108

5.9 小结110

第 6 章 查询调度 111

6.1 生成调度执行器 111

6.2 查询调度过程 113

6.2.1 NodeManager 114

6.2.2 NodeSelector 115

6.3 小结 118

第 7 章 查询执行 119

7.1 查询执行逻辑 120

7.2 Task 调度120

7.2.1 Source Task 调度120

7.2.2 Fixed Task 调度126

7.2.3 Single Task 调度 128

7.2.4 Coordinator_Only Task 调度 128

7.3 Task 执行129

7.3.1 创建 Task 129

7.3.2 更新 Task 135

7.3.3 运行 Task 140

7.4 小结 147

第 8 章 队列 148

8.1 配置说明 148

8.1.1 queues 队列定义149

8.1.2 rules 规则定义 149

8.2 队列加载 150

8.3 队列匹配 151

8.4 小结 154

第 9 章 System Connector 155

9.1 System Connector 使用155

9.1.1 Information_schema 155

9.1.2 Metadata 157

9.1.3 Runtime 157

9.2 System Connector 实现159

9.2.1 Information_schema 实现160

9.2.2 System Connector 实现163

9.3 小结 168

第 10 章 Hive Connector169

10.1 与 Hive 的结合170

10.2 Split 分片管理 175

10.3 数据读取179

10.4 Create Table As Select 的实现 182

10.5 小结186

第 11 章 Kafka Connector 187

11.1 认识 Kafka Connector 187

11.1.1 配置187

11.1.2 配置属性187

11.1.3 内置字段189

11.1.4 表定义文件190

11.1.5 Kafka 中的 key 和 message 191

11.1.6 行解码192

11.1.7 日期和时间解码器194

11.1.8 文本解码器194

11.1.9 数值解码器194

11.2 Kafka 连接器使用教程194

11.2.1 安装 Apache Kafka195

11.2.2 下载数据195

11.2.3 在 Presto 中配置 Kafka topics 197

11.2.4 基本数据查询197

11.2.5 添加表定义文件199

11.2.6 将 message 中所有值映射到不同列200

11.2.7 使用实时数据202

11.3 Kafka Connector 获取数据 207

11.3.1 Split 分片管理207

11.3.2 数据读取209

11.4 小结210

第 12 章 Connector 开发211

12.1 创建 Maven 工程 211

12.2 注册 Plugin 213

12.3 Connector 213

12.4 Metadata 215

12.5 SplitManager 217

12.6 RecordSetProvider 218

12.7 小结 219

第 13 章 Functions 开发220

13.1 Function 注册 220

13.2 窗口函数 225

13.3 聚合函数 229

13.4 小结 232

第三部分 高级篇

第 14 章 JD-Presto 功能改造234

14.1 PDBO 功能开发234

14.1.1 JDBC Split 剖析235

14.1.2 JdbcRecordCursor 剖析 238

14.1.3 分批次读取实现原理 240

14.1.4 动态步长实现原理 243

14.1.5 条件下发 245

14.1.6 PDBO 配置定义 247

14.2 DDL 及 DML 支持 250

14.2.1 Hive 连接器 Insert 功能 250

14.2.2 Hive 连接器 CTAS 动态分区表功能 252

14.3 动态增加、修改、删除 Catalog 254

14.3.1 目的 254

14.3.2 现状 254

14.3.3 实现 255

14.3.4 效果 258

14.4 小结 258

第 15 章 Presto 性能调优259

15.1 合理设计分区 259

15.2 Group By 字句优化 259

15.3 使用模糊聚合函数 259

15.4 合并多条 Like 子句为一条 regexp_like 子句260

15.5 大表放在 Join 子句左边260

15.6 关闭 distributed hash join 261

15.7 使用 ORC 存储 261

15.8 小结 262

第 16 章 Presto 应用场景 263

16.1 ETL 263

16.2 实时数据计算264

16.3 Ad-Hoc 查询266

16.4 实时数据流分析266

16.5 小结268

附录 A 常见问题及解决办法269

A.1 同时访问两个 Hadoop 集群269

A.2 Kafka 集群重启后无法获取数据272

A.3 Task exceeded max memory size 277

A.4 SQL 中 In 子句太长导致栈溢出错误278

A.5 高并发导致大量查询出错279

附录 B Presto 配置参数说明 282

附录 C Presto 执行信息说明289