Python大数据分析从入门到精通

图书标准信息

• 作者 兰一杰
• 出版社 北京大学出版社
• 出版时间 2020-09
• 版次 1
• ISBN 9787301313558
• 定价 79.00元
• 装帧 其他
• 开本 16开
• 纸张 胶版纸
• 页数 320页
• 字数 454千字

【内容简介】

　　本书结合Python在数据分析领域的特点，介绍如何在数据平台上集成使用Python。本书内容分为3大部分。第1部分（第1~3章）为搭建开发环境和导入测试数据；第2部分（第4~12章）为Python对HDFS、Hive、Pig、HBase、Spark的操作，主要是对常用API的说明；第3部分（第13~16章）是在前面章节的基础上，介绍如何进行数据的分析、挖掘、可视化等内容。

  本书不仅阐述了Python在大数据平台上的应用技巧，而且关于大数据平台管理和操作的介绍说明贯穿全书，因此对于希望学习大数据知识的读者，本书同样非常适合。

【作者简介】

　　兰一杰，资深软件工程师、项目经理，对Python大数据、人工智能、深度学习等有深入研究并能灵活整合运用。多年从事通过Python实施数据化运维、主数据项目、大数据分析项目的开发工作，涉及国内各大房地产企业、金融机构、政府机关等领域。

【目录】

第一章 为什么选择用Python11.1 易于使用3

1.2 兼容Hadoop3

1.3 可扩展和灵活性3

1.4 良好的社区支持和开发环境3

1.5 在数据分析领域的优势4

1.6 总结4

第二章 大数据开发环境的搭建52.1 安装大数据集成环境HDP6

2.2 安装Spark环境（Windows）9

2.3 自行安装大数据开发环境10

2.4 总结21

第三章 构建分析数据223.1 分析数据的说明23

3.2 导入数据到HDP SandBox中25

3.3 导入自安装的环境中使用28

3.4 导入Windows的Spark中29

3.5 导入 Northwind 数据库30

3.6 总结32

第四章 Python对Hadoop的操作334.1 Snakebite的说明34

4.2 HDFS命令说明36

4.3 Snakebite Client类的使用38

4.4 Snakebite CLI的使用40

4.5 总结42

第五章 Python对Hive的操作435.1 Hive说明44

5.2 使用PyHive47

5.3 使用Python编写Hive UDF49

5.4 Impyla的使用51

5.5 Hive SQL调优方法52

5.6 总结53

第六章 Python对HBase的操作546.1 HBase说明55

6.2 HBase Shell命令57

6.3 HappyBase说明62

6.4 HappyBase的使用66

6.5 总结70

第七章 Python集成到Pig717.1 Pig说明72

7.2 Pig Latin的使用74

7.3 Python Pig的整合78

7.4 总结81

第八章 PySpark Shell应用838.1 操作步骤84

8.2 应用对象84

8.3 Spark核心模块86

8.4 Spark Shell的使用87

8.5 PySpark Shell的使用92

8.6 总结95

第九章 PySpark对RDD操作969.1 Spark RDD说明97

9.2 RDD API说明101

9.3 在API函数中使用Lambda表达式108

9.4 从HDFS中读取数据并以SequenceFile格式存储110

9.5 读取CSV文件处理并存储112

9.6 读取Json文件处理114

9.7 通过RDD计算圆周率115

9.8 查看RDD计算的状态116

9.9 总结118

第十章 PySpark对DataFrame的操作11910.1 Spark DataFrame说明120

10.2 DataFrame API总述122

10.3 DataFrame数据结构API126

10.4 DataFrame数据处理API140

10.5 Postgresql和DataFrame145

10.6 CSV和DataFrame147

10.7 Json和DataFrame149

10.8 Numpy、Pandas和DataFrame151

10.9 RDD和DataFrame152

10.10 HDFS和DataFrame153

10.11 Hive和DataFrame154

10.12 HBase和DataFrame155

10.13 总结157

第十一章 PySpark对Streaming的操作15811.1 Spark Streaming说明159

11.2 Spark Streaming API160

11.3 网络数据流165

11.4 文件数据流167

11.5 Kafka数据流171

11.6 Flume数据流173

11.7 QueueStream数据流174

11.8 使用StreamingListener监听数据流175

11.9 总结177

第十二章 PySpark SQL17812.1 关于Spark SQL179

12.2 Spark SQL相关API180

12.3 Spark SQL使用步骤189

12.4 Postgresql和Spark SQL190

12.5 CSV和Spark SQL192

12.6 Json和Spark SQL193

12.7 HDFS和Spark SQL194

12.8 Hive和Spark SQL195

12.9 UDF和Spark SQL197

12.10 Streaming和Spark SQL199

12.11 Spark SQL优化200

12.12 总结201

第十三章 分析方法及构架的说明20213.1 统计的概念和数据可视化203

13.2 数据分析方法的探讨206

13.3 开发构架说明209

13.4 总结整合说明210

第十四章 集成分析21414.1 SQL窗口函数的说明215

14.2 Hive SQL分析221

14.3 Spark SQL分析225

14.4 HBase SQL分析229

14.5 对接Numpy、Pandas的分析232

14.6 对接Blaze分析241

14.7 总结244

第十五章 数据挖掘24515.1 关于机器学习246

15.2 PySpark机器学习包248

15.3 特征的抽取、转换和选择250

15.4 PySpark机器学习包的使用256

15.5 集成TensorFlow277

15.6 集成scikit-learn279

15.7 总结282

第十六章 数据可视化28316.1 标签云284

16.2 Zeppelin的使用289

16.3 Mathplotlib的使用293

16.4 Superset的使用301

16.5 总结308