HADOOP技术原理与案例教程(微课版)
全新正版 极速发货
¥
53.4
6.7折
¥
79.8
全新
库存21件
作者韩玉民 郭丽
出版社人民邮电出版社
ISBN9787115639691
出版时间2024-06
装帧平装
开本16开
定价79.8元
货号1203322112
上书时间2024-09-05
商品详情
- 品相描述:全新
- 商品描述
-
作者简介
韩玉民,长期从事计算机教育与软件研发,担任中原工学院软件学院教学副院长十多年,创新教学理念,具有丰富的专业建设、课程与教材建设、教研教改经验。软件工程专业入选国家一流本科专业建设点。 主持、参与完成省级以上教研项目多项,获省级以上教学成果奖励四项,一项获2021年度河南省教学成果特等奖,并入选重量2022年教学成果奖推荐名单。 主编、副主编专业教材12部,获得首届河南省教材建设二等奖一项
目录
第一篇 分布式存储与计算基础
第1章 大数据基础
1.1 数据、信息和知识 2
1.2 大数据 3
1.2.1 大数据的发展历程 3
1.2.2 大数据的定义 5
1.3 数据分析流程 7
1.3.1 确定数据分析目标 7
1.3.2 数据采集 7
1.3.3 数据预处理 10
1.3.4 数据分析 11
1.4 大数据技术生态体系 13
1.5 大数据应用场景 17
1.5.1 基于大数据的电子商务 18
1.5.2 能源大数据体系建设 18
1.5.3 交通大数据体系建设 19
1.5.4 政务大数据体系建设 20
1.5.5 基于大数据的人口迁徙 21
1.5.6 农业大数据体系建设 21
1.6 本章小结 23
习题 23
第2章 Hadoop简介
2.1 Hadoop概述 25
2.1.1 起源 26
2.1.2 Hadoop发行版本 26
2.1.3 Hadoop架构变迁 27
2.1.4 Hadoop特点 27
2.2 Hadoop“生态圈” 28
2.3 Hadoop核心架构 29
2.3.1 HDFS 29
2.3.2 MapReduce 29
2.3.3 Yarn 30
2.4 Hadoop运行模式 30
2.4.1 本地模式 30
2.4.2 伪分布式模式 30
2.4.3 接近分布式模式 31
2.5 Hadoop集群搭建 31
2.5.1 集群规划 31
2.5.2 基本软件的安装 32
2.5.3 接近分布式集群的搭建 33
2.6 常见问题及解决方案 46
2.7 本章小结 47
习题 47
第3章 Hadoop分布式文件系统
3.1 HDFS概述 50
3.1.1 文件系统 50
3.1.2 传统文件系统 50
3.1.3 HDFS的引入 51
3.1.4 HDFS的设计目标 51
3.1.5 HDFS的使用场景 52
3.1.6 HDFS的局限性 52
3.2 HDFS的技术架构 53
3.2.1 分块存储 53
3.2.2 副本机制 55
3.2.3 NameNode 55
3.2.4 DataNode 56
3.2.5 SecondaryNameNode 57
3.2.6 BackupNode 58
3.2.7 HDFS写入数据流程 58
3.2.8 HDFS读取数据流程 59
3.3 HDFS的Shell操作 60
3.3.1 基本命令 60
3.3.2 上传命令 61
3.3.3 下载命令 61
3.3.4 高级操作 61
3.4 HDFS的API实战开发 62
3.4.1 环境介绍 62
3.4.2 pom.xml配置说明 62
3.4.3 HDFS操作 63
3.5 HDFS核心解密 65
3.5.1 再谈NameNode 65
3.5.2 节点的服役 67
3.5.3 节点的退役 68
3.5.4 DataNode多目录的配置 69
3.6 常见问题及解决方案 69
3.7 本章小结 70
习题 70
第4章 Hadoop分布式计算系统
4.1 MapReduce概述 74
4.2 WordCount入门 74
4.2.1 下载Hadoop配置文件 74
4.2.2 项目配置 75
4.2.3 打包在集群运行 77
4.3 MapReduce编程思想 78
4.3.1 MapReduce原理 79
4.3.2 MapReduce进程 80
4.3.3 MapReduce编程规范 80
4.4 Hadoop序列化 81
4.4.1 序列化与反序列化 81
4.4.2 Hadoop序列化要求 81
4.4.3 Hadoop序列化机制 82
4.5 MapReduce输入 83
4.6 Shuffle过程 87
4.6.1 Shuffle原理 87
4.6.2 分区 88
4.6.3 排序 89
4.6.4 分组 91
4.7 Combiner过程 92
4.8 MapReduce输出 93
4.9 常见问题及解决方案 94
4.10 本章小结 98
习题 98
第5章 Hadoop资源管理器Yarn
5.1 Yarn基本结构 100
5.1.1 ResourceManager 101
5.1.2 ApplicationMaster 101
5.1.3 NodeManager 102
5.1.4 Container 102
5.2 Yarn工作机制 102
5.3 Yarn资源调度器 103
5.3.1 FIFO Scheduler 104
5.3.2 Capacity Scheduler 104
5.3.3 Fair Scheduler 107
5.4 本章小结 107
习题 107
第6章 Hadoop案例开发
6.1 WordCount 109
6.2 最值 112
6.3 全排序 113
6.4 二次排序 115
6.5 MapReduce链 117
6.6 MapReduce数据合并 120
6.6.1 案例描述 120
6.6.2 Reduce JOIN实现 121
6.6.3 Map JOIN实现 124
6.7 本章小结 125
习题 125
第二篇 数据仓库Hive
第7章 Hive原理与应用
7.1 Hive简介 127
7.1.1 数据仓库简介 127
7.1.2 Hive起源 127
7.1.3 Hive的主要特点 128
7.1.4 Hive下载 128
7.1.5 Hive安装包 129
7.2 Hive组件简介 131
7.2.1 Hive元数据管理 131
7.2.2 Metastore 132
7.2.3 HiveServer2 132
7.3 Hive启动方式 133
7.3.1 Hive Metastore部署模式 133
7.3.2 JDBC访问Hive 139
7.4 Hive配置文件详解 142
7.4.1 Hive的核心配置文件 142
7.4.2 Hive运行环境参数配置 145
7.4.3 Hive的本地运行模式 146
7.5 本章小结 147
习题 147
第8章 Hive数据定义
8.1 Hive的数据结构 149
8.1.1 创建数据库与表 149
8.1.2 加载数据到表中 153
8.1.3 查询数据库与表 160
8.1.4 修改数据库与表 162
8.1.5 删除数据库与表 163
8.1.6 导出数据 164
8.2 Hive的数据类型 165
8.2.1 Hive原生数据类型 165
8.2.2 Hive复杂数据类型 169
8.2.3 数据类型转换 174
8.3 Hive的数据模型 175
8.3.1 外部表与内部表的定义与区别 176
8.3.2 分区的概念与作用 182
8.3.3 分桶的概念与作用 193
8.3.4 Hive数据表的序列化与反序列化 197
8.4 本章小结 199
习题 199
第9章 Hive数据分析基础
9.1 基于IntelliJ IDEA实现Hive操作 204
9.1.1 基于IntelliJ IDEA配置Hive 204
9.1.2 Hive服务器连接 204
9.1.3 Console功能区 206
9.2 数据查询 209
9.2.1 基本查询 209
9.2.2 分组查询 214
9.2.3 子查询 218
9.2.4 Hive的JOIN操作 220
9.2.5 Hive的JOIN原理 228
9.3 常用系统函数 231
9.3.1 聚合函数 231
9.3.2 窗口函数 232
9.3.3 表值函数 236
9.3.4 时间日期函数 238
9.3.5 字符串函数 240
9.3.6 数学函数 242
9.3.7 集合函数 243
9.4 自定义函数 244
9.4.1 UDF 245
9.4.2 UDAF 248
9.4.3 UDTF 250
9.5 本章小结 251
习题 251
第10章 Hive数据分析案例
10.1 数据分析流程与数据分析目标的选定 255
10.1.1 数据分析流程 255
10.1.2 数据分析目标的选定 255
10.2 常用数据分析方法 256
10.2.1 描述性数据分析 256
10.2.2 探索性数据分析 258
10.2.3 预测性数据分析 260
10.3 二手车数据集 261
10.3.1 数据集简介 261
10.3.2 数据分析目标 262
10.3.3 数据导入 262
10.4 二手车市场特征和需求探索案例 263
10.4.1 二手车数据描述性分析 263
10.4.2 二手车数据处理与转换 269
10.4.3 二手车数据探索性分析 270
10.4.4 二手车数据异常值与缺失值处理 271
10.5 二手车数据变量关系分析 272
10.5.1 相关系数简介 272
10.5.2 二手车数据相关系数分析 272
10.5.3 特征关系可视化分析 275
10.5.4 结果分析与结论 276
10.6 二手车数据聚类分析 277
10.7 本章小结 278
习题 278
第三篇 非关系数据库HBase
第11章 HBase基础知识
11.1 HBase概述 281
11.1.1 NoSQL的出现 281
11.1.2 HBase的出现 281
11.1.3 HBase的相关学习资源 281
11.2 HBase系统部署 281
11.2.1 版本选择 281
11.2.2 系统准备 282
11.2.3 组件的上传和解压 283
11.2.4 配置环境变量 283
11.2.5 配置ZooKeeper 284
11.2.6 配置HBase 284
11.3 HBase基本Shell操作 286
11.3.1 启动HBase Shell 286
11.3.2 创建和删除表 286
11.3.3 写入数据 287
11.3.4 查询数据 288
11.3.5 删除数据 289
11.3.6 表结构处理 289
11.4 HBase基本API操作 290
11.4.1 Maven工程基本结构 290
11.4.2 创建和删除表 291
11.4.3 写入数据 293
11.4.4 查询数据 294
11.4.5 删除数据 294
11.5 本章小结 295
习题 295
第12章 HBase原理与架构
12.1 HBase数据存储结构 297
12.1.1 大数据时代的MySQL 297
12.1.2 解决问题的思路 299
12.1.3 两类存储思路的对比 300
12.1.4 HBase的数据格式 300
12.2 HBase架构 300
12.2.1 HBase整体架构 301
12.2.2 客户端和HBase的通信过程 302
12.2.3 &
— 没有更多了 —
以下为对购买帮助不大的评价