Spark 3.0大数据分析与挖掘：基于机器学习
正版保障 假一赔十 电子发票
￥ 40.42 6.9折 ￥ 59 全新
仅1件
四川成都
认证卖家担保交易快速发货售后保障
作者王晓华 罗凯靖
出版社清华大学出版社
ISBN9787302598992
出版时间2022-03
装帧平装
开本16开
定价59元
货号1202599567
上书时间2024-12-23
商品详情
- 品相描述：全新
- 商品描述
-
作者简介
王晓华，计算机专业讲师，研究方向为云计算、大数据与人工智能。著有《Spark MLlib机器学习实践》《TensorFlow深度学习应用实践》《OpenCV+TensorFlow深度学习与计算机视觉实战》《TensorFlow知识图谱实战》《TensorFlow人脸识别实战》《TensorFlow语音识别实战》《TensorFlow 2.0卷积神经网络实战》《Keras实战：基于TensorFlow2.2的深度学习实践》《TensorFlow深度学习从零开始学》《深度学习的数学原理与实现》等图书。
目录
第1章 Spark大数据分析概述1
1.1 大数据时代1
1.2 大数据分析的要素2
1.3 简单、优雅、有效—这就是Spark3
1.4 Spark 3.0核心—ML4
1.5 星星之火，可以燎原6
1.6 小结6
第2章 Spark 3.0安装和开发环境配置7
2.1 Windows 10单机模式下安装和配置Spark7
2.1.1 Windows 10安装Java 87
2.1.2 Windows 10安装Scala 2.12.1010
2.1.3 Intellij IDEA下载和安装13
2.1.4 Intellij IDEA中Scala插件的安装13
2.1.5 HelloJava—使用Intellij IDEA创建Java程序16
2.1.6 HelloScala—使用Intellij IDEA创建Scala程序19
2.1.7 最后一脚—Spark 3.0单机版安装22
2.2 经典的wordCount25
2.2.1 Spark 3.0实现wordCount25
2.2.2 MapReduce实现wordCount27
2.3 小结30
第3章 DataFrame详解31
3.1 DataFrame是什么31
3.1.1 DataFrame与RDD的关系31
3.1.2 DataFrame理解及特性32
3.1.3 DataFrame与DataSet的区别34
3.1.4 DataFrame的缺陷34
3.2 DataFrame工作原理35
3.2.1 DataFrame工作原理图35
3.2.2 宽依赖与窄依赖35
3.3 DataFrame应用API和操作详解37
3.3.1 创建 DataFrame37
3.3.2 提前计算的cache方法39
3.3.3 用于列筛选的select和selectExpr方法41
3.3.4 DataFrame的收集行collect方法42
3.3.5 DataFrame计算行数count方法43
3.3.6 DataFrame输出limit方法44
3.3.7 除去数据集中重复项的distinct方法45
3.3.8 过滤数据的filter方法46
3.3.9 以整体数据为单位操作数据的flatMap方法46
3.3.10 以单个数据为目标进行操作的map方法47
3.3.11 分组数据的groupBy和agg方法48
3.3.12 删除数据集中某列的drop方法49
3.3.13 随机采样方法和随机划分方法49
3.3.14 排序类型操作的sort和orderBy方法51
3.3.15 DataFrame和Dataset以及RDD之间的相互转换52
3.4 小结53
第4章 ML基本概念54
4.1 ML基本数据类型及管道技术54
4.1.1 支持多种数据类型55
4.1.2 管道技术55
4.1.3 管道中的主要概念55
4.1.4 管道的工作流程56
4.1.5 Pipeline的使用57
4.2 ML数理统计基本概念61
4.2.1 基本统计量62
4.2.2 统计量基本数据62
4.2.3 距离计算64
4.2.4 两组数据相关系数计算65
4.2.5 分层抽样68
4.2.6 假设检验69
4.2.7 随机数71
4.3 小结72
第5章 协同过滤算法73
5.1 协同过滤73
5.1.1 协同过滤概述73
5.1.2 基于用户的推荐UserCF74
5.1.3 基于物品的推荐ItemCF75
5.1.4 协同过滤算法的不足76
5.2 相似度度量76
5.2.1 基于欧几里得距离的相似度计算76
5.2.2 基于余弦角度的相似度计算77
5.2.3 欧几里得相似度与余弦相似度的比较78
5.2.4 基于余弦相似度的用户相似度计算示例78
5.3 交替最小二乘法82
5.3.1 最小二乘法详解82
5.3.2 ML中交替最小二乘法详解83
5.3.3 ALS算法示例83
5.4 小结88
第6章 线性回归理论与实战89
6.1 随机梯度下降算法详解90
6.1.1 道士下山的故事90
6.1.2 随机梯度下降算法的理论基础91
6.1.3 随机梯度下降算法实战92
6.2 回归的过拟合93
6.2.1 过拟合产生的原因93
6.2.2 Lasso回归、岭回归与ElasticNet回归94
6.3 ML线性回归示例95
6.3.1 线性回归程序95
6.3.2 线性回归：广义线性回归98
6.4 小结99
第7章 分类实战100
7.1 逻辑回归详解100
7.1.1 逻辑回归不是回归算法101
7.1.2 逻辑回归的数学基础101
7.1.3 ML逻辑回归二分类示例102
7.1.4 ML逻辑回归多分类示例105
7.1.5 ML逻辑回归汇总提取108
7.1.6 ML逻辑回归处理文本文档109
7.2 线性支持向量机详解109
7.2.1 三角还是圆110
7.2.2 支持向量机的数学基础111
7.2.3 ML支持向量机示例112
7.2.4 ML支持向量机进行分类预测113
7.3 朴素贝叶斯分类器详解115
7.3.1 穿裤子的男生or女生115
7.3.2 贝叶斯定理的数学基础和意义116
7.3.3 朴素贝叶斯定理117
7.3.4 ML朴素贝叶斯使用示例117
7.3.5 ML朴素贝叶斯中文文本分类120
7.4 小结123
第8章 决策树与随机森林124
8.1 决策树详解125
8.1.1 水晶球的秘密125
8.1.2 决策树的算法基础：信息熵126
8.1.3 决策树的算法基础—ID3算法127
8.1.4 ML中决策树的构建128
8.1.5 ML中决策树示例130
8.2 随机森林与梯度提升算法132
8.3 小结138
第9章 聚类139
9.1 聚类与分类139
9.1.1 什么是分类139
9.1.2 什么是聚类140
9.2 K-means算法140
9.2.1 K-means算法及其算法步骤141
9.2.2 ML中K-means算法示例142
9.2.3 K-means算法中细节的讨论144
9.3 高斯混合聚类144
9.3.1 从高斯分布聚类起步145
9.3.2 混合高斯模型146
9.3.3 ML高斯混合模型使用示例147
9.4 快速迭代聚类148
9.4.1 快速迭代聚类理论基础148
9.4.2 ML快速迭代聚类使用示例149
9.5 小结150
第10章 关联规则151
10.1 Apriori频繁项集算法151
10.1.1 “啤酒与尿布”的经典故事151
10.1.2 经典的Apriori算法152
10.1.3 Apriori算法示例154
10.2 FP-growth算法155
10.2.1 Apriori算法的局限性155
10.2.2 FP-growth算法155
10.2.3 ML中的FP树算法示例158
10.3 小结160
第11章 数据降维161
11.1 奇异值分解161
11.1.1 行矩阵详解162
11.1.2 奇异值分解算法基础162
11.1.3 ML中奇异值分解示例163
11.2 主成分分析164
11.2.1 主成分分析的定义165
11.2.2 主成分分析的数学基础165
11.2.3 ML中主成分分析示例166
11.3 小结167
第12章 特征提取和转换169
12.1 TF-IDF169
12.1.1 如何查找想要的新闻170
12.1.2 TF-IDF算法的数学计算170
12.1.3 ML中TF-IDF示例171
12.2 词向量化Word2Vec173
12.2.1 词向量化基础173
12.2.2 ML中词向量化使用示例174
12.3 基于卡方检验的特征选择176
12.3.1 “吃货”的苦恼176
12.3.2 ML中基于卡方检验的特征选择示例177
12.4 小结179
第13章 ML实战演练—鸢尾花分析180
13.1 建模说明180
13.1.1 数据的描述与分析目标180
13.1.2 建模说明182
13.2 数据预处理和分析185
13.2.1 微观分析—均值与方差的对比分析185
13.2.2 宏观分析—不同种类特性的长度计算189
13.2.3 去除重复项—相关系数的确定192
13.3 长与宽之间的关系—数据集的回归分析196
13.3.1 使用线性回归分析长与宽之间的关系196
13.3.2 使用逻辑回归分析长与宽之间的关系198
13.4 使用分类和聚类对鸢尾花数据集进行处理201
13.4.1 使用聚类分析对数据集进行聚类处理202
13.4.2 使用分类分析对数据集进行分类处理206
13.5 最终的判定—决策树测试208
13.5.1 决定数据集归类的方法之一—决策树208
13.5.2 决定数据集归类的方法之二—随机森林211
13.6 小结213
内容摘要
Spark作为新兴的、应用范围广泛的大数据处理开源框架，吸引了大量的大数据分析与挖掘从业人员进行相关内容的学习与开发，其中ML是Spark 3.0机器学习框架使用的核心。本书用于Spark 3.0 ML大数据分析与挖掘入门，配套示例源码、PPT课件、数据集、思维导图、开发环境和作者答疑服务。
本书共分13章，从Spark 3.0大数据分析概述、基础安装和配置开始，依次介绍ML的DataFrame、ML的基本概念，以及协同过滤、线性回归、分类、决策树与随机森林、聚类、关联规则、数据降维、特征提取和转换等数据处理方法；最后通过经典的鸢尾花分析实例，回顾前面的学习内容，实现了一个完整的数据分析与挖掘过程。
本书采取实例和理论相结合的方式，讲解细致直观，示例丰富，适合Spark 3.0机器学习初学者、大数据分析和挖掘人员，也适合高等院校和培训机构人工智能与大数据相关专业的师生教学参考。
主编推荐
本书详解Spark 3.0 ML机器学习框架进行大数据分析与挖掘的方法，配套示例源码、PPT课件、数据集、开发环境、思维导图和答疑服务。
— 没有更多了 —
以下为对购买帮助不大的评价