大数据基础编程、实验和案例教程（第2版）

图书标准信息

• 作者 林子雨
• 出版社 清华大学出版社
• 出版时间 2020-09
• 版次 1
• ISBN 9787302559771
• 定价 69.00元
• 装帧 平装
• 开本 16开
• 纸张 胶版纸
• 页数 368页

【内容简介】

本实践教程主要介绍大数据软件环境的搭建、大数据基础编程和大数据实验案例，可以帮助大数据学习者有效构建大数据实验环境，快速开展入门级编程。内容包括Linux系统的安装、Hadoop的安装、HDFS基础编程、HBase安装和基础编程、MapReduce基础编程、Hive安装和基础编程、MongoDB安装和基础编程、Redis安装和基础编程、数据仓库Hive安装和基础编程、可视化工具安装和使用、Spark安装和基础编程、大数据实验综合案例

【作者简介】

林子雨（1978－），男，博士，厦门大学计算机科学系助理教授，厦门大学云计算与大数据研究中心创始成员，海峡云计算与大数据应用研究中心副主任。中国高校s个“数字教师”提出者和建设者

【目录】

第1章大数据技术概述/1

 

1.1大数据时代/1

 

1.2大数据关键技术/2

 

1.3大数据软件/3

 

1.3.1Hadoop/4

 

1.3.2Spark/5

 

1.3.3NoSQL数据库/5

 

1.4内容安排/6

 

1.5在线资源/8

 

1.6本章小结/10

 

第2章Linux系统的安装和使用/11

 

2.1Linux系统简介/11

 

2.2Linux系统安装/11

 

2.2.1下载安装文件/12

 

2.2.2Linux系统的安装方式/12

 

2.2.3安装Linux虚拟机/13

 

2.2.4生成Linux虚拟机镜像文件/35

 

2.3Linux系统及相关软件的基本使用方法/36

 

2.3.1Shell/36

 

2.3.2root用户/37

 

2.3.3创建普通用户/37

 

2.3.4sudo命令/38

 

2.3.5常用的Linux系统命令/38

 

2.3.6文件解压缩/39

 

2.3.7常用的目录/39

 

2.3.8目录的权限/40

 

2.3.9更新APT/40

 

2.3.10切换中英文输入法/42

 

2.3.11vim编辑器的使用方法/42

 

2.3.12在Windows系统中使用SSH方式登录Linux系统/43

 

2.3.13在Linux系统中安装Eclipse/46

 

2.3.14其他使用技巧/47

 

2.4关于本书内容的一些约定/47

 

2.5本章小结/48

 

第3章Hadoop的安装和使用/49

 

3.1Hadoop简介/49

 

3.2安装Hadoop前的准备工作/49

 

3.2.1创建hadoop用户/50

 

3.2.2更新APT/50

 

3.2.3安装SSH/50

 

3.2.4安装Java环境/51

 

3.3安装Hadoop/52

 

3.3.1下载安装文件/53

 

3.3.2单机模式配置/53

 

3.3.3伪分布式模式配置/54

 

3.3.4分布式模式配置/61

 

3.4本章小结/70

 

第4章HDFS操作方法和基础编程/71

 

4.1HDFS操作常用的Shell命令/71

 

4.1.1查看命令的用法/71

 

4.1.2HDFS操作/73

 

4.2利用HDFS的Web管理界面/75

 

4.3HDFS编程实践/75

 

4.3.1在Eclipse中创建项目/75

 

4.3.2为项目添加需要用到的JAR包/76

 

4.3.3编写Java应用程序/79

 

4.3.4编译运行程序/82

 

4.3.5应用程序的部署/83

 

4.4本章小结/86

 

第5章HBase的安装和基础编程/88

 

5.1安装HBase/88

 

5.1.1下载安装文件/88

 

5.1.2配置环境变量/89

 

5.1.3添加用户权限/89

 

5.1.4查看HBase版本信息/89

 

5.2HBase的配置/90

 

5.2.1单机模式配置/90

 

5.2.2伪分布式模式配置/92

 

5.3HBase常用的Shell命令/94

 

5.3.1在HBase中创建表/94

 

5.3.2添加数据/94

 

5.3.3查看数据/95

 

5.3.4删除数据/96

 

5.3.5删除表/97

 

5.3.6查询历史数据/97

 

5.3.7退出HBase数据库/97

 

5.4HBase编程实践/98

 

5.4.1在Eclipse中创建项目/98

 

5.4.2为项目添加需要用到的JAR包/100

 

5.4.3编写Java应用程序/102

 

5.4.4编译运行程序/105

 

5.5本章小结/106

 

第6章典型NoSQL数据库的安装和使用/108

 

6.1Redis的安装和使用/108

 

6.1.1Redis简介/108

 

6.1.2安装Redis/108

 

6.1.3Redis实例演示/110

 

6.2MongoDB的安装和使用/111

 

6.2.1MongDB简介/111

 

6.2.2安装MongoDB/112

 

6.2.3使用Shell命令操作MongoDB/113

 

6.2.4Java API编程实例/118

 

6.3本章小结/122

 

第7章MapReduce基础编程/123

 

7.1词频统计任务要求/123

 

7.2MapReduce程序编写方法/124

 

7.2.1编写Map处理逻辑/124

 

7.2.2编写Reduce处理逻辑/124

 

7.2.3编写main方法/125

 

7.2.4完整的词频统计程序/126

 

7.3编译打包程序/127

 

7.3.1使用命令行编译打包词频统计程序/128

 

7.3.2使用Eclipse编译打包词频统计程序/128

 

7.4运行程序/136

 

7.5本章小结/139

 

第8章数据仓库Hive的安装和使用/140

 

8.1Hive的安装/140

 

8.1.1下载安装文件/140

 

8.1.2配置环境变量/141

 

8.1.3修改配置文件/141

 

8.1.4安装并配置MySQL/142

 

8.2Hive的数据类型/144

 

8.3Hive基本操作/145

 

8.3.1创建数据库、表、视图/145

 

8.3.2删除数据库、表、视图/146

 

8.3.3修改数据库、表、视图/147

 

8.3.4查看数据库、表、视图/148

 

8.3.5描述数据库、表、视图/148

 

8.3.6向表中装载数据/149

 

8.3.7查询表中数据/149

 

8.3.8向表中插入数据或从表中导出数据/149

 

8.4Hive应用实例: WordCount/150

 

8.5Hive编程的优势/151

 

8.6本章小结/151

 

第9章Spark的安装和基础编程/152

 

9.1基础环境/152

 

9.2安装Spark/152

 

9.2.1下载安装文件/152

 

9.2.2配置相关文件/153

 

9.3使用 Spark Shell编写代码/154

 

9.3.1启动Spark Shell/154

 

9.3.2读取文件/155

 

9.3.3编写词频统计程序/156

 

9.4编写Spark独立应用程序/157

 

9.4.1用Scala语言编写Spark独立应用程序/157

 

9.4.2用Java语言编写Spark独立应用程序/161

 

9.5本章小结/164

 

第10章Flink的安装和基础编程/165

 

10.1安装Flink/165

 

10.2编程实现WordCount程序/167

 

10.2.1安装Maven/167

 

10.2.2编写代码/167

 

10.2.3使用Maven打包Java程序/171

 

10.2.4通过flink run命令运行程序/172

 

10.3本章小结/172

 

第11章典型可视化工具的使用方法/173

 

11.1D3可视化库的使用方法/173

 

11.1.1D3可视化库的安装/173

 

11.1.2基本操作/174

 

11.2使用ECharts制作图表/182

 

11.2.1ECharts简介/182

 

11.2.2ECharts图表制作方法/182

 

11.3本章小结/185

 

第12章数据采集工具的安装和使用/186

 

12.1Kafka/186

 

12.1.1Kafka相关概念/186

 

12.1.2安装Kafka/186

 

12.1.3一个实例/187

 

12.2实例: 编写Spark程序使用Kafka数据源/188

 

12.2.1Kafka准备工作/188

 

12.2.2Spark准备工作/190

 

12.2.3编写Spark程序使用Kafka数据源/191

 

12.3本章小结/197

 

第13章大数据课程综合实验案例/198

 

13.1案例简介/198

 

13.1.1案例目的/198

 

13.1.2适用对象/198

 

13.1.3时间安排/198

 

13.1.4预备知识/198

 

13.1.5硬件要求/199

 

13.1.6软件工具/199

 

13.1.7数据集/199

 

13.1.8案例任务/199

 

13.2实验环境搭建/200

 

13.3实验步骤概述/200

 

13.4本地数据集上传到数据仓库Hive/201

 

13.4.1实验数据集的下载/201

 

13.4.2数据集的预处理/203

 

13.4.3导入数据库/206

 

13.5Hive数据分析/209

 

13.5.1简单查询分析/209

 

13.5.2查询条数统计分析/211

 

13.5.3关键字条件查询分析/213

 

13.5.4根据用户行为分析/214

 

13.5.5用户实时查询分析/215

 

13.6Hive、MySQL、HBase数据互导/216

 

13.6.1Hive预操作/216

 

13.6.2使用Java API将数据从Hive导入MySQL/217

 

13.6.3使用HBase Java API把数据从本地导入HBase中/222

 

13.7使用R进行数据可视化分析/229

 

13.7.1安装R/229

 

13.7.2安装依赖库/230

 

13.7.3可视化分析/232

 

13.8本章小结/236

 

第14章实验/237

 

14.1实验一： 熟悉常用的Linux操作和Hadoop操作/237

 

14.1.1实验目的/237

 

14.1.2实验平台/237

 

14.1.3实验步骤/237

 

14.1.4实验报告/239

 

14.2实验二: 熟悉常用的HDFS操作/239

 

14.2.1实验目的/239

 

14.2.2实验平台/239

 

14.2.3实验步骤/240

 

14.2.4实验报告/240

 

14.3实验三: 熟悉常用的HBase操作/241

 

14.3.1实验目的/241

 

14.3.2实验平台/241

 

14.3.3实验步骤/241

 

14.3.4实验报告/242

 

14.4实验四: NoSQL和关系数据库的操作比较/243

 

14.4.1实验目的/243

 

14.4.2实验平台/243

 

14.4.3实验步骤/243

 

14.4.4实验报告/246

 

14.5实验五: MapReduce初级编程实践/247

 

14.5.1实验目的/247

 

14.5.2实验平台/247

 

14.5.3实验步骤/247

 

14.5.4实验报告/249

 

14.6实验六: 熟悉Hive的基本操作/250

 

14.6.1实验目的/250

 

14.6.2实验平台/250

 

14.6.3数据集/250

 

14.6.4实验步骤/250

 

14.6.5实验报告/251

 

14.7实验七: Spark初级编程实践/252

 

14.7.1实验目的/252

 

14.7.2实验平台/252

 

14.7.3实验步骤/252

 

14.7.4实验报告/254

 

14.8实验八: Flink初级编程实践/254

 

14.8.1实验目的/254

 

14.8.2实验平台/254

 

14.8.3实验步骤/254

 

14.8.4实验报告/255

 

附录A实验参考答案/256

 

A.1“实验一: 熟悉常用的Linux操作和Hadoop操作”实验步骤/256

 

A.2“实验二: 熟悉常用的HDFS操作”实验步骤/261

 

A.3“实验三: 熟悉常用的HBase操作”实验步骤/280

 

A.4“实验四: NoSQL和关系数据库的操作比较”实验步骤/289

 

A.5“实验五: MapReduce初级编程实践”实验步骤/306

 

A.6“实验六: 熟悉Hive的基本操作”实验步骤/315

 

A.7“实验七: Spark初级编程实践”实验步骤/319

 

A.8“实验八: Flink初级编程实践”实验步骤/325

 

附录BLinux系统中的MySQL安装及常用操作/343

 

B.1安装MySQL/343

 

B.2MySQL常用操作/346

 

参考文献/350