Hadoop大数据处理与分析教程（慕课版）

图书标准信息

• 作者 王秀友 丁小娜 刘运
• 出版社 人民邮电出版社
• 出版时间 2021-02
• 版次 1
• ISBN 9787115530080
• 定价 59.80元
• 装帧 平装
• 开本 其他
• 纸张 胶版纸
• 页数 262页
• 字数 469千字

【内容简介】

第1章绪论、第2章Linux操作系统的安装、第3章Hadoop的伪分布式安装、第4章Hadoop集群的搭建及配置、第5章Hadoop HDFS命令、第6章MapReduce编程入门、第7章Hive:SQL on Hadoop、第8章Sqoop:SQL to Hadoop、第9章HBase：HadoopDatabase、第10章Spark的介绍与安装、第11章综合案例——网络爬虫大数据分析

【作者简介】

已经在我社出版多本程序设计类书籍,包括“技术方案宝典” “开发技术大全”“自学手册” “参考大全”等多个系列，大都取得比较好的市场反响。

【目录】

第1章  绪论  1

1.1　认识大数据　2

1.1.1　大数据的定义　2

1.1.2　大数据的特点　2

1.1.3　大数据行业应用　3

1.1.4　Hadoop与大数据　5

1.1.5　其他大数据处理平台　5

1.1.6　大数据人才　7

1.2　什么是Hadoop　8

1.2.1　Hadoop简介　8

1.2.2　Hadoop的发展历史　8

1.2.3　Hadoop的特点　9

1.3　Hadoop核心　10

1.3.1　分布式文件系统—HDFS　11

1.3.2　分布式计算框架—MapReduce　13

1.4　Hadoop常用组件　14

1.5　Hadoop在国内外的应用情况　16

小结　16

习题　16

第2章　Linux操作系统的安装　17

2.1　VirtualBox虚拟机的安装　18

2.1.1　VirtualBox的下载和安装　18

2.1.2　设置VirtualBox存储文件夹　22

2.1.3　在VirtualBox中创建虚拟机　24

2.2　Linux操作系统简介　28

2.2.1　概述　28

2.2.2　特点　28

2.2.3　Linux操作系统的组成　29

2.2.4　Linux基本命令　31

2.2.5　Linux操作系统的版本　34

2.3　Linux操作系统（Ubuntu）的安装　34

2.3.1　Linux操作系统（Ubuntu）的

　下载　34

2.3.2　安装Ubuntu　36

2.3.3　启动Ubuntu　41

2.3.4　设置终端　42

2.3.5　设置共享剪贴板　45

2.3.6　设置共享文件夹　49

小结　52

习题　52

第3章　Hadoop的伪分布式

安装　53

3.1　JDK的检查与安装　54

3.1.1　检查是否安装JDK　54

3.1.2　安装JDK　54

3.2　配置SSH无密码登录　58

3.3　Hadoop的下载与安装　61

3.3.1　Hadoop的安装模式　61

3.3.2　Hadoop的下载　62

3.3.3　Hadoop的安装　63

3.3.4　配置Hadoop前准备　65

3.4　Hadoop环境配置　66

3.4.1　设置Hadoop环境变量　66

3.4.2　修改Hadoop配置文件　68

3.4.3　创建并格式化文件系统　73

3.5　启动Hadoop　73

3.6　查看HDFS Web页面　75

3.7　查看YARN Web页面　76

小结　77

习题　77

第4章　Hadoop集群的搭建及

配置　78

4.1　Hadoop集群中节点角色　79

4.2　设置集群前的准备工作　80

4.2.1　集群中节点的规划　80

4.2.2　设置网络　81

4.3　设置服务器　83

4.3.1　设置Master服务器　83

4.3.2　复制虚拟机　89

4.3.3　设置Slave服务器　92

4.3.4　设置Master服务器到Slave服务器的SSH无密码登　95

4.3.5　格式化文件系统　96

4.4　启动和关闭Hadoop集群　97

4.4.1　启动和关闭Hadoop集群　97

4.4.2　验证Hadoop集群是否启动成功　98

4.5　查看Hadoop集群的基本信息　99

4.5.1　查看集群的HDFS信息　99

4.5.2　查看集群的YARN信息　101

4.6　在Hadoop集群中运行程序　102

小结　103

习题　103

第5章　Hadoop HDFS命令　104

5.1　HDFS常用命令总览　105

5.2　创建与查看HDFS目录　105

5.2.1　创建HDFS目录　105

5.2.2　查看HDFS目录　106

5.3　本地计算机和HDFS之间的文件

　复制　107

5.3.1　从本地计算机复制文件到

　HDFS　107

5.3.2　将HDFS上的文件复制到本地

　计算机　110

5.4　复制与删除HDFS文件　112

5.5　查看HDFS文件内容　113

小结　114

习题　114

第6章　MapReduce编程

入门　115

6.1　认识MapReduce　116

6.1.1　MapReduce的编程思想　116

6.1.2　MapReduce的运行环境　118

6.2　使用Eclipse创建MapReduce工程　122

6.2.1　下载与安装Eclipse　122

6.2.2　配置MapReduce环境　127

6.3　第一个MapReduce程序：

　WordCount　131

6.3.1　WordCount的设计思路　131

6.3.2　编写WordCount　132

6.3.3　分析WordCount程序　140

6.3.4　运行程序　142

小结　144

习题　144

第7章　Hive　145

7.1　Hive简介　146

7.1.1　什么是Hive　146

7.1.2　为什么使用Hive　146

7.1.3　Hive的体系结构　146

7.1.4　Hive与关系型数据库的区别　147

7.2　安装元数据库　148

7.2.1　下载和安装MySQL数据库　148

7.2.2　登录MySQL数据库　153

7.2.3　使用MySQL数据库　153

7.3　安装与配置Hive　156

7.3.1　准备工作　156

7.3.2　下载Hive　156

7.3.3　安装Hive　157

7.3.4　配置Hive　158

7.3.5　启动并验证Hive　161

7.4　数据类型和存储格式　162

7.4.1　基本数据类型　162

7.4.2　复杂数据类型　162

7.4.3　存储格式　163

7.4.4　数据格式　163

7.5　Hive中的数据定义　164

7.5.1　操作数据库　164

7.5.2　查看与创建数据表　166

7.5.3　Hive中其他的数据表　169

7.5.4　修改数据表　170

7.5.5　删除数据表　171

7.6　Hive中的数据操作　171

7.6.1　加载数据　171

7.6.2　插入数据　174

7.6.3　导出数据　178

小结　179

习题　179

第8章　Sqoop　180

8.1　安装并配置Sqoop　181

8.1.1　下载并安装Sqoop　181

8.1.2　配置Sqoop　183

8.1.3　验证Sqoop　185

8.1.4　测试Sqoop与MySQL的连接　185

8.2　Sqoop命令　186

8.3　Sqoop导入　188

8.3.1　使用Sqoop把MySQL数据导入HDFS　189

8.3.2　使用Sqoop把MySQL数据导入Hive　191

8.3.3　有选择地导入数据　192

8.4　Sqoop导出　193

8.4.1　使用Sqoop将Hadoop数据导出到MySQL　194

8.4.2　使用Sqoop将Hive数据导出到MySQL　195

小结　197

习题　197

第9章　HBase　198

9.1　ZooKeeper集群的安装与配置　199

9.1.1　ZooKeeper简介　199

9.1.2　ZooKeeper安装　199

9.1.3　配置ZooKeeper集群　201

9.1.4　启动ZooKeeper集群　204

9.2　HBase集群的安装与配置　206

9.2.1　下载并安装HBase　206

9.2.2　配置HBase　207

9.2.3　启动并验证HBase　211

9.3　HBase的基本应用　212

9.3.1　创建表　212

9.3.2　插入数据　213

9.3.3　扫描全表的数据　213

9.3.4　获取某一行的数据　213

9.3.5　删除表　213

小结　213

习题　214

第10章　Spark的介绍与

安装　215

10.1　Spark概述　216

10.1.1　Spark系统架构　216

10.1.2　Spark运行流程　217

10.2　安装与配置Scala　218

10.2.1　下载Scala　218

10.2.2　安装Scala　219

10.2.3　启动与应用Scala　220

10.3　安装与配置Spark　222

10.3.1　安装模式　222

10.3.2　安装Spark　222

10.3.3　配置环境变量　224

10.3.4　启动并验证Spark　226

10.4　运行Spark程序　227

小结　228

习题　228

第11章　综合案例—网络爬虫大数据分析　229

11.1　网络爬虫概述　230

11.1.1　网络爬虫　230

11.1.2　网络爬虫—快手爬票　230

11.1.3　开发语言选择　231

11.2　搭建Python开发环境　231

11.2.1　开发环境概述　231

11.2.2　安装Python　232

11.3　搭建Qt环境　235

11.3.1　安装Qt　235

11.3.2　安装PyCharm开发工具　237

　11.4 主窗体设计　244

11.4.1　Qt拖曳控件　244

11.4.2　代码调试细节　248

11.5　分析网页请求参数　251

11.6　下载站名文件　253

11.7　车票信息的请求与显示　255

11.7.1　发送与分析车票信息的查询

　请求　255

11.7.2　主窗体中显示查票信息　258

11.8　Hadoop中的网络爬虫　261

小结　262

习题　262