Apache Spark机器学习

图书标准信息

• 作者 [美]刘永川Alex Liu
• 出版社 机械工业出版社
• 出版时间 2017-03
• 版次 1
• ISBN 9787111562559
• 定价 59.00元
• 装帧 其他
• 开本 16开
• 纸张 胶版纸
• 页数 208页
• 字数 161千字

【内容简介】

本书包装了一系列项目“蓝图”，展示了Spark可以帮你解决的一些有趣挑战，读者在将理论知识实践于一些实际项目之前，会了解到如何使用Sparknotebook，以及如何访问、清洗和连接不同的数据集，你将在其中了解Spark机器学习如何帮助你完成从欺诈检测到分析客户流失等各种工作。你还将了解如何使用Spark的并行计算能力构建推荐引擎。

【目录】

目　　录?Contents

译者序

前　言

第1章　Spark机器学习简介  1

1.1　Spark概述和技术优势  2

1.1.1　Spark概述  2

1.1.2　Spark优势  3

1.2　在机器学习中应用Spark计算  4

1.3　机器学习算法  5

1.4　MLlib  6

1.5　Spark RDD和DataFrame  8

1.5.1　Spark RDD  8

1.5.2　Spark DataFrame  9

1.5.3　R语言DataFrame API  10

1.5.4　机器学习框架、RM4E和Spark计算  11

1.5.5　机器学习框架  12

1.5.6　RM4E  13

1.5.7　Spark计算框架  13

1.6　机器学习工作流和Spark pipeline  14

1.7　机器学习工作流示例  16

1.8　Spark notebook简介  19

1.8.1　面向机器学习的notebook方法  19

1.8.2　Spark notebook  21

1.9　小结  22

第2章　Spark机器学习的数据准备  24

2.1　访问和加载数据集  25

2.1.1　访问公开可用的数据集  25

2.1.2　加载数据集到Spark  26

2.1.3　数据集探索和可视化  27

2.2　数据清洗  29

2.2.1　处理数据不完备性  30

2.2.2　在Spark中进行数据清洗  31

2.2.3　更简便的数据清洗  32

2.3　一致性匹配  33

2.3.1　一致性问题  33

2.3.2　基于Spark的一致性匹配  34

2.3.3　实体解析  34

2.3.4　更好的一致性匹配  35

2.4　数据集重组  36

2.4.1　数据集重组任务  36

2.4.2　使用Spark SQL进行数据集重组  37

2.4.3　在Spark上使用R语言进行数据集重组  38

2.5　数据集连接  39

2.5.1　数据连接及其工具——Spark SQL  39

2.5.2　Spark中的数据集连接  40

2.5.3　使用R语言数据表程序包进行数据连接  40

2.6　特征提取  42

2.6.1　特征开发的挑战  42

2.6.2　基于Spark MLlib的特征开发  43

2.6.3　基于R语言的特征开发  45

2.7　复用性和自动化  45

2.7.1　数据集预处理工作流  46

2.7.2　基于Spark pipeline的数据集预处理  47

2.7.3　数据集预处理自动化  47

2.8　小结  49

第3章　基于Spark的整体视图  51

3.1　Spark整体视图  51

3.1.1　例子  52

3.1.2　简洁快速的计算  54

3.2　整体视图的方法  55

3.2.1　回归模型  56

3.2.2　SEM方法  57

3.2.3　决策树  57

3.3　特征准备  58

3.3.1　PCA  59

3.3.2　使用专业知识进行分类分组  59

3.3.3　特征选择  60

3.4　模型估计  61

3.4.1　MLlib实现  62

3.4.2　R notebook实现  62

3.5　模型评估  63

3.5.1　快速评价  63

3.5.2　RMSE  64

3.5.3　ROC曲线  65

3.6　结果解释  66

3.7　部署  66

3.7.1　仪表盘  67

3.7.2　规则  68

3.8　小结  68

第4章　基于Spark的欺诈检测  69

4.1　Spark欺诈检测  70

4.1.1　例子  70

4.1.2　分布式计算  71

4.2　欺诈检测方法  72

4.2.1　随机森林  73

4.2.2　决策树  74

4.3　特征提取  74

4.3.1　从日志文件提取特征  75

4.3.2　数据合并  75

4.4　模型估计  76

4.4.1　MLlib实现  77

4.4.2　R notebook实现  77

4.5　模型评价  77

4.5.1　快速评价  78

4.5.2　混淆矩阵和误报率  78

4.6　结果解释  79

4.7　部署欺诈检测  80

4.7.1　规则  81

4.7.2　评分  81

4.8　小结  82

第5章　基于Spark的风险评分  83

5.1　Spark用于风险评分  84

5.1.1　例子  84

5.1.2　Apache Spark notebook  85

5.2　风险评分方法  87

5.2.1　逻辑回归  87

5.2.2　随机森林和决策树  88

5.3　数据和特征准备  89

5.4　模型估计  91

5.4.1　在Data Scientist Workbench上应用R notebook  91

5.4.2　实现R notebook  92

5.5　模型评价  93

5.5.1　混淆矩阵  93

5.5.2　ROC分析  93

5.5.3　Kolmogorov-Smirnov检验  94

5.6　结果解释  95

5.7　部署  96

5.8　小结  97

第6章　基于Spark的流失预测  99

6.1　Spark流失预测  99

6.1.1　例子  100

6.1.2　Spark计算  100

6.2　流失预测的方法  101

6.2.1　回归模型  102

6.2.2　决策树和随机森林  103

6.3　特征准备  104

6.3.1　特征提取  104

6.3.2　特征选择  105

6.4　模型估计  105

6.5　模型评估  107

6.6　结果解释  109

6.7　部署  110

6.7.1　评分  111

6.7.2　干预措施推荐  111

6.8　小结  111

第7章　基于Spark的产品推荐  112

7.1　基于Apache Spark 的产品推荐引擎  112

7.1.1　例子  113

7.1.2　基于Spark平台的SPSS  114

7.2　产品推荐方法  117

7.2.1　协同过滤  117

7.2.2　编程准备  118

7.3　基于SPSS的数据治理  119

7.4　模型估计  120

7.5　模型评价  121

7.6　产品推荐部署  122

7.7　小结  125

第8章　基于Spark的学习分析  126

8.1　Spark流失预测  127

8.1.1　例子  127

8.1.2　Spark计算  128

8.2　流失预测方法  130

8.2.1　回归模型  130

8.2.2　决策树  131

8.3　特征准备  131

8.3.1　特征开发  133

8.3.2　特征选择  133

8.4　模型估计  135

8.5　模型评价  137

8.5.1　快速评价  138

8.5.2　混淆矩阵和错误率  138

8.6　结果解释  139

8.6.1　计算干预影响  140

8.6.2　计算主因子影响  140

8.7　部署  141

8.7.1　规则  141

8.7.2　评分  142

8.8　小结