Presto实战

图书标准信息

• 作者 [美]马特·富勒(Matt Fuller)(美) 曼弗雷德·莫泽(Manfre
• 出版社 人民邮电出版社
• 出版时间 2021-03
• 版次 1
• ISBN 9787115560056
• 定价 99.00元
• 装帧 其他
• 开本 其他
• 纸张 胶版纸
• 页数 241页
• 字数 390千字

【内容简介】

随着各行各业对大数据实时查询的需求持续增长，数据查询及分析引擎正变得不可或缺。Presto是由Facebook开源的高性能分布式SQL查询引擎，其用户包括Netflix、Airbnb、LinkedIn、Twitter、Uber等知名公司。本书由Presto的核心开发人员参与撰写，教你系统地学习Presto的用法。书中内容涵盖Presto的安装、设计理念、查询操作、*实践、与主要云平台的结合等。本书分为三大部分：*部分介绍Presto的基础知识；第二部分更进一步，介绍Presto架构、集群部署、与数据源的连接等；第三部分讲解安全配置以及Presto的实际用例。你可以通过本书学会针对不同的数据源快速执行交互式SQL数据分析，并利用Presto管理和使用海量数据。

【作者简介】

马特·富勒（Matt Fuller） Starburst公司联合创始人。 曼弗雷德·莫泽（Manfred Moser） 开源社区拥护者、技术作家、培训师，Starburst公司软件工程师。 马丁·特拉韦尔索（Martin Traverso） Presto项目创始成员，Presto软件基金会联合创始人，Starburst公司首席技术官。 【译者简介】 张晨 毕业于上海交通大学，热爱大数据技术、数据库、分布式系统和函数式编程，现于Indeed东京担任软件工程师。 黄鹏程 毕业于北京邮电大学，专注于数据库和大数据平台的开发与架构工作。曾就职于中国民生银行，担任大数据基础架构团队负责人。现任阿里云高级产品专家，负责阿里云数据库相关产品的设计与规划工作。 傅宇 毕业于南京大学，专注于数据库技术，现任阿里云技术专家，担任PolarDB-X云原生分布式数据库内核研发工作，熟悉分布式事务、查询优化器和执行器，对大数据领域充满热情。

【目录】

译者序　xv

序　xvii

前言　xix

第 一部分　Presto　入门

第 1章　Presto　介绍　3

1.1　大数据带来的问题　3

1.2　Presto来救场　4

1.2.1　为性能和规模而生　5

1.2.2　SQL-on-Anything　5

1.2.3　存储与计算分离　6

1.3　Presto使用场景　6

1.3.1　单一的SQL分析访问点　7

1.3.2　数据仓库和数据源系统的访问点　7

1.3.3　提供对任何内容的SQL访问　8

1.3.4　联邦查询　9

1.3.5　虚拟数据仓库的语义层　9

1.3.6　数据湖查询引擎　9

1.3.7　SQL转换和ETL10

1.3.8　更快的响应带来更好的数据见解　10

1.3.9　大数据、机器学习和人工智能　10

1.3.10　其他使用场景　11

1.4　Presto　资源　11

1.4.1　官方网站　11

1.4.2　文档　12

1.4.3　社区交流　12

1.4.4　源代码、许可证和版本　12

1.4.5　贡献　12

1.4.6　本书资源　13

1.4.7　鸢尾花数据集　13

1.4.8　航班数据集　14

1.5　Presto简史　14

1.6　小结　15

第 2章　安装和配置Presto　16

2.1　使用Docker容器尝试Presto　16

2.2　使用归档文件安装　17

2.2.1　JVM　17

2.2.2　Python　18

2.2.3　安装　18

2.2.4　配置　19

2.3　添加数据源　20

2.4　运行Presto　21

2.5　小结　21

第3章　使用Presto　22

3.1　Presto CLI　22

3.1.1　使用入门　22

3.1.2　分页　25

3.1.3　命令历史　25

3.1.4　额外诊断　25

3.1.5　执行查询　25

3.1.6　输出格式　26

3.1.7　忽略错误　26

3.2　Presto JDBC驱动　27

3.2.1　下载和注册驱动　28

3.2.2　创建到Presto的连接　29

3.3　Presto与ODBC　31

3.4　客户端库　31

3.5　Presto Web UI　31

3.6　使用Presto执行SQL　32

3.6.1　概念　33

3.6.2　入门案例　33

3.7　小结　36

第二部分　深入理解Presto

第4章　Presto的架构　39

4.1　集群中的协调器和工作节点　39

4.2　协调器　41

4.3　节点发现服务　41

4.4　工作节点　42

4.5　基于连接器的架构　42

4.6　catalog、schema和表　43

4.7　查询执行模型　44

4.8　查询优化　47

4.8.1　解析和分析　48

4.8.2　初始查询计划　49

4.9　优化规则　50

4.9.1　谓词下推　51

4.9.2　Cross Join　消除　51

4.9.3　TopN　52

4.9.4　局部聚合　52

4.10　实现规则　53

4.10.1　Lateral Join　去关联化　53

4.10.2　Semi-join（IN）去关联化　54

4.11　基于代价的优化器　55

4.11.1　代价的概念　55

4.11.2　Join的代价　57

4.11.3　表统计信息　57

4.11.4　过滤统计信息　58

4.11.5　分区表的统计信息　59

4.11.6　Join枚举　60

4.11.7　广播Join和分布式Join　60

4.12　使用表统计信息　62

4.12.1　Presto的ANALYZE　命令　62

4.12.2　在写入存储时收集数据　63

4.12.3　Hive的ANALYZE　命令　63

4.12.4　显示表统计信息　63

4.13　小结　64

第5章　生产环境部署　65

5.1　配置细节　65

5.2　服务端配置　65

5.3　日志　66

5.4　节点配置　67

5.5　JVM配置　68

5.6　启动器　69

5.7　集群安装　70

5.8　使用RPM安装　72

5.8.1　安装目录结构　72

5.8.2　配置　73

5.8.3　卸载Presto　73

5.9　在云上安装　73

5.10　集群规模的考量　74

5.11　小结　74

第6章　连接器　75

6.1　配置　76

6.2　RDBMS连接器示例：PostgreSQL　76

6.2.1　查询下推　78

6.2.2　并行性和并发性　79

6.2.3　其他RDBMS连接器　80

6.2.4　安全性　81

6.3　Presto TPC-H和TPC-DS连接器　81

6.4　用于分布式存储数据源的Hive　连接器　82

6.4.1　Apache Hadoop和Hive　82

6.4.2　Hive连接器　83

6.4.3　Hive式表格式　85

6.4.4　内部表与外部表　85

6.4.5　分区数据　87

6.4.6　加载数据　88

6.4.7　文件格式和压缩　90

6.4.8　MinIO示例　91

6.5　非关系数据源　91

6.6　Presto JMX　连接器　92

6.7　黑洞连接器　94

6.8　内存连接器　94

6.9　其他连接器　95

6.10　小结　95

第7章　高级连接器实例　96

7.1　用Phoenix连接HBase　96

7.2　键值存储连接器示例：Accumulo　97

7.2.1　使用Presto Accumulo连接器　100

7.2.2　Accumulo中的谓词下推　102

7.3　Apache Cassandra　连接器　103

7.4　流式系统连接器示例：Kafka　104

7.5　文档存储连接器示例：Elasticsearch　106

7.5.1　概述　106

7.5.2　配置和使用方法　106

7.5.3　查询处理　107

7.5.4　全文搜索　107

7.5.5　总结　108

7.6　Presto中的联邦查询　108

7.7　ETL和联合查询　114

7.8　小结　114

第8章　在Presto中使用SQL　115

8.1　Presto语句　116

8.2　Presto系统表　118

8.3　catalog　120

8.4　schema　120

8.5　Information Schema　121

8.6　表　122

8.6.1　表和列属性　124

8.6.2　复制现有的表　125

8.6.3　从查询结果中新建表　126

8.6.4　修改表　127

8.6.5　删除表　127

8.6.6　连接器对表操作的限制　127

8.7　视图　128

8.8　会话信息和配置　128

8.9　数据类型　129

8.9.1　集合数据类型　131

8.9.2　时态数据类型　132

8.9.3　类型转换　135

8.10　SELECT语句基础　136

8.11　WHERE子句　137

8.12　GROUP BY和HAVING子句　138

8.13　ORDER BY子句和LIMIT子句　140

8.14　JOIN语句　140

8.15　UNION、INTERSECT和EXCEPT子句　141

8.16　分组操作　143

8.17　WITH子句　144

8.18　子查询　145

8.18.1　标量子查询　145

8.18.2　EXISTS子查询　146

8.18.3　集合比较子查询　146

8.19　从表中删除数据　147

8.20　小结　147

第9章　高级SQL特性　148

9.1　函数和运算符介绍　148

9.2　标量函数和运算符　149

9.3　布尔运算符　150

9.4　逻辑运算符　151

9.5　用BETWEEN语句选择范围　152

9.6　用IS(NOT) NULL检测值的存在　152

9.7　数学函数和运算符　152

9.8　三角函数153

9.9　常数和随机函数　154

9.10　字符串函数和运算符　154

9.11　字符串和映射　155

9.12　Unicode　156

9.13　正则表达式　158

9.14　解嵌套复杂数据类型　160

9.15　JSON函数　161

9.16　日期和时间函数及运算符　161

9.17　直方图　164

9.18　聚合函数　165

9.18.1　映射聚合函数　165

9.18.2　近似聚合函数　167

9.19　窗函数　168

9.20　lambda表达式　169

9.21　地理空间函数　170

9.22　Prepared Statement　171

9.23　小结　173

第三部分　Presto的实际应用

第 10章　安全　177

10.1　认证　178

10.2　授权　181

10.2.1　系统访问控制　181

10.2.2　连接器访问控制　184

10.3　加密　186

10.3.1　加密Presto客户端与协调器之间的通信　188

10.3.2　创建Java keystore和Java truststore　190

10.3.3　在Presto集群内加密通信　192

10.4　CA与自签名证书　193

10.5　证书认证　194

10.6　Kerberos　197

10.6.1　前提条件　198

10.6.2　Kerberos客户端认证　198

10.6.3　集群内部Kerberos　198

10.7　数据源访问和安全配置　199

10.8　使用Hive连接器进行Kerberos验证　200

10.8.1　Hive Metastore Thrift服务认证　201

10.8.2　HDFS认证　201

10.9　集群分离　202

10.10　小结　202

第 11章　将Presto与其他工具集成　203

11.1　使用Apache Superset进行查询、可视化和更多操作　203

11.2　使用RubiX提高性能　204

11.3　使用Apache Airflow的工作流　205

11.4　嵌入式Presto示例：Amazon Athena　205

11.5　Starburst企业版Presto　208

11.6　其他集成案例　208

11.7　自定义集成　209

第 12章　生产环境中的Presto　211

12.1　使用Presto Web UI监控　211

12.1.1　集群级的细节　212

12.1.2　查询列表　213

12.1.3　查询细节视图　215

12.2　Presto SQL查询调优　221

12.3　内存管理　223

12.4　任务并发性　226

12.5　工作节点调度　227

12.5.1　根据任务或节点调度切片　227

12.5.2　本地调度策略　227

12.6　网络数据交换　228

12.6.1　并发性　228

12.6.2　缓冲区大小　228

12.7　JVM调优　228

12.8　资源组　230

12.8.1　资源组的定义　231

12.8.2　调度策略　232

12.8.3　选择器规则定义　233

12.9　小结　233

第 13章　真实世界的案例　234

13.1　部署和运行时平台　234

13.2　集群规模　235

13.3　Hadoop/Hive迁移的使用场景　237

13.4　其他数据源　237

13.5　用户和流量　237

13.6　小结　238

第 14章　总结　239

关于作者　240

关于封面　240