Python大数据处理库PySpark实战

图书标准信息

• 作者 汪明
• 出版社 清华大学出版社
• 出版时间 2021-03
• 版次 1
• ISBN 9787302575085
• 定价 79.00元
• 装帧 平装
• 开本 16开
• 页数 310页
• 字数 0.51千字

【内容简介】

我国提出新基建概念，要加快大数据中心、人工智能等新型基础设施的建设进度，这无疑需要更多的大数据人才。PySpark可以对大数据进行分布式处理，降低大数据学习门槛，本书正是一本PySpark入门教材，适合有一定Python基础的读者学习使用。
  本书分为7章，第1章介绍大数据的基本概念、常用的大数据分析工具；第2章介绍Spark作为大数据处理的特点和算法；第3章介绍Spark实战环境的搭建，涉及Windows和Linux操作系统；第4章介绍如何灵活应用PySpark对数据进行操作；第5章介绍PySpark ETL处理，涉及PySpark读取数据、对数据进行统计分析等数据处理相关内容；第6章介绍PySpark如何利用MLlib库进行分布式机器学习（Titanic幸存者预测）；第7章介绍一个PySpark和Kafka结合的实时项目。
  本书内容全面、示例丰富，可作为广大PySpark入门读者必备的参考书，同时能作为大中专院校师生的教学参考书，也可作为高等院校计算机及相关专业的大数据技术教材使用。

【作者简介】

汪明，硕士，于中国矿业大学，徐州软件协会副理事长，某创业公司合伙人。从事软件行业十余年，发表数十篇。著有图书typecript实战go并发编程实战。

【目录】

章 大数据时代 1

1.1 什么是大数据 1

1.1.1 大数据的特点 2

1.1.2 大数据的发展趋势 3

1.2 大数据下的分析工具 4

1.2.1 hadoop 5

1.2.2 hive 6

1.2.3 hbase 6

1.2.4 apache phoenix 7

1.2.5 apache drill 7

1.2.6 apache hudi 7

1.2.7 apache kylin 8

1.2.8 apache presto 8

1.2.9 clickhouse 8

1.2.10 apache spark 9

1.2.11 apache flink 10

1.2.12 apache storm 10

1.2.13 apache druid 10

1.2.14 apache kafka 11

1.2.15 tensorflow 11

1.2.16 pytorch 12

1.2.17 apache superset 12

1.2.18 elasticsearch 12

1.2.19 jupyter notebook 13

1.2.20 apache zeppelin 13

1.3 小结 14

第2章 大数据的瑞士军刀——spark 15

2.1 hadoop与生态系统 15

2.1.1 hadoop概述 15

2.1.2 hdfs体系结构 19

2.1.3 hadoop生态系统 20

2.2 spark与hadoop 23

2.2.1 apache spark概述 23

2.2.2 spark和hadoop比较 24

2.3 spark核心概念 25

2.3.1 spark软件栈 25

2.3.2 spark运行架构 26

2.3.3 spark部署模式 27

2.4 spark基本作 29

2.5 sql in spark 33

2.6 spark与机器学 33

2.6.1 决策树算法 35

2.6.2 贝叶斯算法 36

2.6.3 支持向量机算法 36

2.6.4 森林算法 37

2.6.5 人工神经网络算法 38

2.6.6 关联规则算法 39

2.6.7 线回归算法 40

2.6.8 knn算法 40

2.6.9 k-means算法 41

2.7 小结 42

第3章 spark实战环境设定 43

3.1 建立spark环境前提 43

3.1.1 centos 7安装 45

3.1.2 finalshell安装 55

3.1.3 putty安装 58

3.1.4 k安装 60

3.1.5 python安装 63

3.1.6 visual studio code安装 64

3.1.7 pycharm安装 65

3.2 一分钟建立spark环境 66

3.2.1 linux搭建spark环境 66

3.2.2 windows搭建spark环境 69

3.3 建立hadoop集群 79

3.3.1 centos配置 79

3.3.2 hadoop伪分布模式安装 81

3.3.3 hadoop分布模式安装 87

3.4 安装与配置spark集群 93

3.5 安装与配置hive 99

3.5.1 hive安装 99

3.5.2 hive与spark集成 108

3.6 打造交互式spark环境 110

3.6.1 spark shell 111

3.6.2 pyspark 112

3.6.3 jupyter notebook安装 112

3.7 小结 118

第4章 活用pyspark 119

4.1 python 语法复 119

4.1.1 python基础语法 120

4.1.2 python变量类型 124

4.1.3 python运算符 135

4.1.4 python控制语句 139

4.1.5 python函数 143

4.1.6 python模块和包 149

4.1.7 python面向对象 154

4.1.8 python异常处理 157

4.1.9 python json处理 159

4.1.10 python期处理 160

4.2 用pyspark建立个spark rdd 161

4.2.1 pyspark shell 建立rdd 163

4.2.2 vscode编程建立rdd 165

4.2.3 jupyter 编程建立rdd 167

4.3 rdd的作与观察 168

4.3.1 first作 169

4.3.2 max作 169

4.3.3 sum作 170

4.3.4 take作 171

4.3.5 top作 172

4.3.6 count作 172

4.3.7 collect作 173

4.3.8 collectasmap作 174

4.3.9 countbykey作 175

4.3.10 countbyvalue作 175

4.3.11 glom作 176

4.3.12 coalesce作 177

4.3.13 binebykey作 178

4.3.14 distinct作 179

4.3.15 filter作 180

4.3.16 flatmap作 181

4.3.17 flatmapvalues作 181

4.3.18 fold作 182

4.3.19 foldbykey作 183

4.3.20 foreach作 184

4.3.21 foreachpartition作 185

4.3.22 map作 186

4.3.23 mappartitions作 187

4.3.24 mappartitionswithindex作 187

4.3.25 mapvalues作 188

4.3.26 groupby作 189

4.3.27 groupbykey作 190

4.3.28 keyby作 191

4.3.29 keys作 192

4.3.30 zip作 193

4.3.31 zipwithindex作 194

4.3.32 values作 194

4.3.33 union作 195

4.3.34 takeordered作 196

4.3.35 takesample作 197

4.3.36 subtract作 198

4.3.37 subtractbykey作 198

4.3.38 stats作 199

4.3.39 sortby作 200

4.3.40 sortbykey作 201

4.3.41 sample作 202

4.3.42 repartition作 203

4.3.43 reduce作 204

4.3.44 reducebykey作 205

4.3.45 randomsplit作 206

4.3.46 lookup作 207

4.3.47 join作 208

4.3.48 intersection作 209

4.3.49 fullouterjoin作 210

4.3.50 leftouterjoin与rightouterjoin作 211

4.3.51 aggregate作 212

4.3.52 aggregatebykey作 215

4.3.53 cartesian作 217

4.3.54 cache作 218

4.3.55 saveastextfile作 218

4.4 共享变数 220

4.4.1 广播变量 220

4.4.2 累加器 221

4.5 dataframes与spark sql 223

4.5.1 dataframe建立 223

4.5.2 spark sql基本用法 228

4.5.3 dataframe基本作 231

4.6 撰写个spark程序 245

4.7 提交你的 spark 程序 246

4.8 小结 248

第5章 pyspark etl 实战 249

5.1 认识资料单元格式 249

5.2 观察资料 255

5.3 选择、筛选与聚合 267

5.4 存储数据 269

5.5 spark存储数据到sql server 272

5.6 小结 275

第6章 pyspark分布式机器学 276

6.1 认识数据格式 277

6.2 描述统计 280

6.3 资料清理与变形 284

6.4 认识pipeline 288

6.5 逻辑回归与应用 290

6.5.1 逻辑回归基本 290

6.5.2 逻辑回归应用示例：titanic幸存者预测 291

6.6 决策树与应用 295

6.6.1 决策树基本 295

6.6.2 决策树应用示例：titanic幸存者预测 296

6.7 小结 299

第7章 实战：pyspark kafka实时项目 301

7.1 kafka和flask环境搭建 301

7.2 代码实现 303

7.3 小结 310