【现货速发】全新正版 高效使用Greenplum 入门、进阶与数据中台

为什么要写这本书
2012年我步入企业数据分析领域，一度聚焦于银行业管理会计系统。管理会计系统是银行业 重要的数据分析与应用系统。在上线管理会计系统之前，银行业只能通过简单的统计报表应对各种业务统计需求。管理会计系统帮助银行实现了经营数据的汇总整合、数据质量的提升、精细化管理的转变，一跃成为银行业 核心的数据应用系统。
银行业的管理会计系统通常构建在数据仓库之上，是一个面向应用的数据集市，虽然整体架构和数据仓库类似，但是系统的数据容量略小。早期的管理会计系统都是基于Oracle、DB2、SQL Server实现的。2017年年底，我次接触到了大数据平台，参与了银行业个基于Hadoop平台的管理会计系统项目建设。
身为传统数据库开发工程师，我在Oracle和DB2数据库上积累的经验在Hive上完全无用武之地。在完成Hive数据分析项目的同时，我一边恶补Hadoop的相关知识，一边深入理解Hive执行过程和执行原理，终于在项目后期掌握了Hive数据仓库的优化策略和调优参数。尽管已经有了Hive的优化经验，我仍然很难认可Hive的数据仓库领导者地位。即使后面用到了Tez、Hive on Spark等更加快速的查询引擎，脚本式的开发过程和大表关联的性能瓶颈，仍然让我对Hive很不满意。
直到有一天，我发现了Greenplum数据库，才知道分布式数据库其实还有更好的选择。MPP架构作为传统数据库架构设计的“正统继承者”，既满足了大数据量查询的性能要求，又解决了SQL语言的兼容性问题。
正是基于Greenplum数据库带给我的惊喜，我才特别想将使用经验分享给大家，从而推动更多企业使用Greenplum数据库，让它们用更省钱、更快捷的方式实现企业级数据仓库和数据中台。
虽然现在ClickHouse和Doris正在崛起，新一代的架构可能会超越Greenplum数据库，但是Greenplum数据库胜在生态成熟、技术稳定，完全可以满足大部分中小企业的数据分析需求。
Greenplum曾经在阿里巴巴作为Oracle集群的替代产品，成为数据仓库的核心数据库（虽然后来被自研产品换掉，但是阿里巴巴当时的数据体量是很多公司未来10年都不可能达到的），而且这些年来，Greenplum数据库技术更加成熟，生态更为完善，性能也得到了大幅提高。
阿里云推出的云原生数据仓库AnalyticDB for PostgreSQL正是基于Greenplum的改进版本。百度云、云也陆续推出了基于Greenplum的云上数据仓库平台，腾讯云和华为云则主推自家研发的同类产品（腾讯TBase和华为GaussDB）。这说明各大云厂商都看好MPP架构数据库在OLAP领域的应用趋势。这些数据仓库平台都是基于PostgreSQL研发的，并且都参考了Greenplum的架构体系。因此，深入研究Greenplum可以达到触类旁通的作用。从主推以Hive为核心的大数据平台到回归Greenplum生态，说明云厂商的产品定位在发生转变。对于广大中小型企业，Greenplum才是 适合它们的数据库产品。
读者对象
本书适合以下读者。
商业智能分析领域的工程师。Greenplum作为一款简单易用、性能卓越的OLAP分析数据库，非常适合作为数据分析的底层数据库。通过阅读本书，读者可以快速掌握Greenplum的使用，并可以从其他环境抽取数据到Greenplum进行数据分析，进一步提升工作效率。
数据分析领域的ETL工程师。MPP数据库的原理是数据分析领域的ETL工程师必须掌握的技术知识点。通过本书，读者不仅可以学习并掌握MPP架构的开源数据库，以及PostgreSQL和Greenplum数据库语法，还可以基于Greenplum构建完整的数据仓库、数据中台系统。
系统架构师。OLAP数据库选型一直是系统架构领域的难点，通过本书，读者可以全面认识Greenplum数据库的优点和缺点，从而务实地在Hadoop和Greenplum中做出明智的选择。此外，Greenplum会大幅降低开发成本，提高开发效率，提升企业的信息服务水平。
计算机专业的高校学生。如今，很多高校都开设了数据库和大数据相关的课程，然而Hadoop的复杂性和不稳定性让入门者胆怯，基于PostgreSQL的MPP数据库Greenplum会是这部分读者 好的选择。
本书特色
本书结合数据中台的建设，从建设思路、接口实战、建模实战到数据中台管理和应用，全方位解读基于Greenplum数据库实现数据中台的过程，并辅之以零售行业数据中台的案例，深入剖析数据中台建设的全过程，帮助读者掌握数据中台的实战要领。
在行文方面，本书尽可能使用浅显易懂的语言，并通过大量的演示案例来引导读者深入学习。在关键环节，本着“有图有真相”的原则，配有大量的截图和示意图帮助读者加深对知识的理解。
如何阅读本书
本书内容分为4部分。
部分　大数据平台概述（第1章）：主要从应用的角度介绍了大数据技术的发展历程，帮助读者了解时代背景，把握大数据技术的发展方向。
第二部分　Greenplum入门（第2～4章）：简单介绍Greenplum数据库的基本原理、安装与部署、入门操作，帮助读者认识Greenplum数据库。没有任何数据库应用经验的读者可以认真学习这部分内容。
第三部分　Greenplum应用（第5～11章）：着重讲解了Greenplum数据库的部分高级应用功能，包括SQL语法、ETL

内容简介
这不仅是一本从原理到使用、从入门到进阶讲解Greenplum的著作，而且是一本指导企业用更省钱、更高效地方式使用Greenplum构建企业级数据仓库和数据中台的著作。
作者在数据架构和数据仓库一线工作10余年，积累了丰富的项目经验，他用浅显易懂的语言、贴近生产环境的案例、丰富的示意图例写作了本书，能帮助读者快速掌握具有实战价值的知识。
具体地，阅读本书你将收获如下内容：
?掌握数据仓库技术的发展历程和发展方向；
?理解MPP架构的架构特点和实现逻辑；
?Greenplum数据库的安装和基本操作；
?Greenplum数据库的工作原理；
?SQL语句从入门到开发实战；
?Greenplum数据库ETL相关功能的具体用途；
?机器学习、文本处理、图计算、GIS等的入门知识；
?掌握Greenplum数据库的运维和监控要点；
?全面掌握Greenplum数据库的性能优化；
?数据中台的理念和建设路径；
?数据中台从接口到智能化应用的项目实战；
?零售行业数据中台的项目实战案例。

作者介绍
王春波
资深架构师和数据仓库专家，现任上海启高信息科技有限公司大数据架构师，Apache Doris和openGauss贡献者，Greenplum中文社区参与者。
具有十多年的数据仓库、数据集市、数据中台项目实战经验，对大数据主流技术架构、产品选型与解决方案有深入研究，尤其擅长用优雅的SQL实现复杂的逻辑。
常年奔波在各个项目交付现场，曾成功主导过中国邮政储蓄银行、南海农商银行、广东省联社、前海微众银行、广东南粤银行等多家银行的管理会计项目，以及卡宾、安踏、特步等多家零售鞋服企业的数据中台项目。
公众号“数据中台研习社”运营者。

序一
序二
序三
前言
部分　大数据平台概述
第1章　大数据平台技术的演进2
1.1　关系型数据库2
1.1.1　数据库发展历程2
1.1.2　关系型数据库独霸天下4
1.1.3　结构化查询语言SQL4
1.1.4　列存储的兴起5
1.2　Hadoop生态系统7
1.2.1　Hadoop概述7
1.2.2　Hadoop生态圈7
1.2.3　Hadoop的优缺点9
1.3　NoSQL的瓶颈和SQL数据库的回归10
1.3.1　NoSQL产品的发展10
1.3.2　NoSQL的共性11
1.3.3　SQL数据库的回归12
1.4　MPP架构的兴起14
1.4.1　什么是MPP架构14
1.4.2　MPP架构的蓬勃发展15
1.4.3　MPP数据库代表—TBase17
1.4.4　浅谈HTAP19
第二部分　Greenplum入门
第2章　Greenplum概述24
2.1　Greenplum的前世今生24
2.2　Greenplum数据库架构27
2.3　Greenplum数据库的特点28
2.4　Greenplum新特性及展望30
2.5　Greenplum的优势32
第3章　Greenplum的安装与部署35
3.1　Greenplum数据库安装过程35
3.1.1　准备工作35
3.1.2　安装Master节点39
3.1.3　复制安装包到其他节点41
3.1.4　初始化Greenplum数据库42
安装GPCC43
3.3　Greenplum访问接口46
3.3.1　CLI46
3.3.2　JDBC47
3.3.3　ODBC48
3.4　Greenplum数据库常用命令48
3.4.1　启动和停止48
3.4.2　修改参数49
3.4.3　其他常用命令51
3.5　Greenplum性能测试52
第4章　Greenplum使用入门54
4.1　数据类型详解54
4.1.1　基本数据类型54
4.1.2　特殊数据类型56
4.1.3　组合数据类型60
4.2　数据表的基本使用62
4.2.1　表对象定义62
4.2.2　表的基本操作63
4.2.3　数据的基本操作64
4.3　数据表的高级应用65
4.3.1　数据表的存储特性69
4.3.2　分区表详解72
4.3.3　外部表76
4.4　数据库函数79
4.4.1　数学函数79
4.4.2　三角函数列表80
4.4.3　字符串函数和操作符80
4.4.4　类型转换相关函数82
4.4.5　自定义函数83
4.5　数据库的其他对象85
4.5.1　视图85
4.5.2　索引85
4.5.3　序列87
第三部分　Greenplum应用
第5章　Greenplum查询详解90
5.1　SQL语法92
5.1.1　简单SQL语法92
5.1.2　WITH子句特性95
5.1.3　IN语句和EXISTS语句98
5.1.4　MERGE子句的实现100
5.2　JOIN操作101
5.3　分析函数的妙用106
5.4　高级函数精选110
第6章　ETL工具箱114
6.1　数据加载王者GPLoad114
6.1.1　GPLoad简介114
6.1.2　GPLoad配置详解116
6.1.3　GPLoad实战118
6.2　自定义存储过程120
6.2.1　存储过程介绍 120
6.2.2　存储过程应用模板121
6.2.3　存储过程精选案例122
6.3　PXF插件131
6.3.1　PXF简介131
6.3.2　安装PXF132
6.3.3　PXF实战135
6.4　DBLink136
6.4.1　DBLink简介136
6.4.2　安装DBLink137
6.4.3　DBlink实战139
6.5　拉链表142
第7章　Greenplum高级应用147
7.1　开放的编程接口147
7.1.1　PL/Python148
7.1.2　PL/R150
7.2　MADlib机器学习库153
7.2.1　安装MADlib154
7.2.2　线性回归案例157
7.2.3　关联规则案例158
7.2.4　朴素贝叶斯分类案例159
7.3　半结构化数据分析164
7.4　地理空间数据分析166
7.5　图计算应用168
第8章　Greenplum运维管理和监控172
8.1　数据库管理172
8.1.1　创建和管理数据库172
8.1.2　创建和管理模式173
8.1.3　创建和管理表空间175
8.1.4　创建和管理用户178
8.1.5　创建和管理资源队列180
8.2　可视化监控页面—GPCC183
8.3　管理好帮手—gp_toolkit185
8.4　Greenplum备份和恢复187
8.5　在线扩容工具GPExpand189
8.5.1　Greenplum扩容实战189
8.5.2　扩容原理分析191
8.6　锁机制192
8.6.1　锁管理概述192
8.6.2　普通锁数据结构192
第9章　Greenplum性能优化197
9.1　系统级优化197
9.1.1　操作系统选择197
9.1.2　硬件资源配置198
9.1.3　磁盘读写199
9.1.4　节点之间的网络带宽202
9.1.5　系统参数202
9.2　数据库级优化204
9.2.1　数据库参数配置204
9.2.2　资源队列206
9.3　表级优化206
9.3.1　建表参数207
9.3.2　表的优化208
9.4　执行计划和查询优化209
9.4.1　查看执行计划210
9.4.2　数据扫描方式210
9.4.3　分布式执行方式213
9.4.4　两种聚合方式214
9.4.5　关联分类214
9.4.6　优化器的选择216
9.4.7　其他关键术语217
第10章　Greenplum与开源组件220
10.1　Kettle220
10.2　DataX224
10.3　HDFS、Hive和HBase228
10.4　Spark230
10.5　Kafka235
10.6　Flink238
第11章　Greenplum与BI应用244
11.1　Tableau244

内容简介
这不仅是一本从原理到使用、从入门到进阶讲解Greenplum的著作，而且是一本指导企业用更省钱、更高效地方式使用Greenplum构建企业级数据仓库和数据中台的著作。
作者在数据架构和数据仓库一线工作10余年，积累了丰富的项目经验，他用浅显易懂的语言、贴近生产环境的案例、丰富的示意图例写作了本书，能帮助读者快速掌握具有实战价值的知识。
具体地，阅读本书你将收获如下内容：
?掌握数据仓库技术的发展历程和发展方向；
?理解MPP架构的架构特点和实现逻辑；
?Greenplum数据库的安装和基本操作；
?Greenplum数据库的工作原理；
?SQL语句从入门到开发实战；
?Greenplum数据库ETL相关功能的具体用途；
?机器学习、文本处理、图计算、GIS等的入门知识；
?掌握Greenplum数据库的运维和监控要点；
?全面掌握Greenplum数据库的性能优化；
?数据中台的理念和建设路径；
?数据中台从接口到智能化应用的项目实战；
?零售行业数据中台的项目实战案例。

作者介绍
王春波
资深架构师和数据仓库专家，现任上海启高信息科技有限公司大数据架构师，Apache Doris和openGauss贡献者，Greenplum中文社区参与者。
具有十多年的数据仓库、数据集市、数据中台项目实战经验，对大数据主流技术架构、产品选型与解决方案有深入研究，尤其擅长用优雅的SQL实现复杂的逻辑。
常年奔波在各个项目交付现场，曾成功主导过中国邮政储蓄银行、南海农商银行、广东省联社、前海微众银行、广东南粤银行等多家银行的管理会计项目，以及卡宾、安踏、特步等多家零售鞋服企业的数据中台项目。
公众号“数据中台研习社”运营者。