大数据处理技术与应用

图书标准信息

• 作者 彭进香；张莉
• 出版社 清华大学出版社
• 出版时间 2020-08
• 版次 1
• ISBN 9787302553731
• 定价 49.00元
• 装帧 其他
• 开本 16开
• 纸张 胶版纸
• 页数 248页
• 字数 377千字

【内容简介】

《大数据处理技术与应用》对大数据的概念、挖掘、应用进行了系统的介绍，并且配备了相关的案例以及实际操作过程。这种理论与实践相结合的方式能够极大地帮助读者掌握大数据领域的相关理论知识。 《大数据处理技术与应用》共分为10章，主要内容包含互联网大数据概述、互联网大数据采集与获取实战要领、做好数据预处理的实战方法、数据相关性分析与回归分析的黄金法则、如何利用关联规则进行大数据挖掘、大数据分析中的四种常见分类算法、大数据分析中的四种常见聚类算法，以及自组织神经网络算法与人工神经网络算法、互联网大数据分析应用——产品个性化推荐系统、大数据分析在具体行业中的应用等。 《大数据处理技术与应用》知识体系完善且适用，可作为高等院校大数据、人工智能等相关专业课程的教材，也可作为从事数据挖掘、机器学习工作以及其他相关工程技术工作人员的参考书。

【作者简介】

彭进香，湖南应用技术学院信息工程学院院长，副教授，市级优秀教师，“十三五”校级首批重点建设学科——计算机应用技术学科建设负责人。近年来主持和参与省、市级教研、科研项目20多项，指导省大学生研究性学习和创新性实验计划项目2项，发表研究论文20多篇，主编和参编教材6部，专利1项，软件著作权2项。对互联网企业从事数据挖掘有较深的研究，在大数据挖掘、分析及实战场景应用方面具有深厚经验。

【目录】

第1章  互联网大数据概述 1

1.1  认识大数据 1

1.1.1  大数据的定义 1

1.1.2  大数据的特征 2

1.1.3  未来十年大数据分析的

发展趋势 3

1.2  常用大数据处理、分析工具介绍 4

1.2.1  大数据的存储工具 4

1.2.2  大数据的软件开发工具 6

1.2.3  大数据的挖掘工具 7

1.2.4  大数据的可视化工具 9

小结 11

第2章  互联网大数据采集与

获取实战要领 12

2.1  互联网大数据采集与处理技术

概述 12

2.1.1  数据采集的基本流程与

关键技术 12

2.1.2  数据处理的基本流程与

关键技术 14

2.2  Web页面数据获取实战方法 15

2.2.1  Jsoup技术与页面数据

获取 15

2.2.2  应对特定领域的

Deep Web数据获取技术 20

2.3  利用爬虫抓取互联网大数据

实战技巧 22

2.3.1  Python爬虫工作原理 22

2.3.2  利用HtmlParser实现

网页链接的提取实战 25

小结 31

第3章  做好数据预处理的实战

方法 33

3.1  数据预处理概述 33

3.1.1  数据预处理的目的 33

3.1.2  数据预处理的方法 33

3.2  从问题分析到数据清洗实战

策略 35

3.2.1  数据清洗的步骤 36

3.2.2  缺失值的识别与处理

技巧 38

3.2.3  异常值的判断、检验与

处理 40

3.3  数据集成与数据转换实战方法 44

3.3.1  数据集成常见方法 44

3.3.2  数据转换过程中的

离散化 47

3.4  数据的特征选择 49

3.4.1  常用数据特征选择方法 49

3.4.2  Relief算法与费希尔

判别法的应用 57

3.5  数据预处理实战案例分析 60

小结 69

第4章  数据相关性分析与回归    

分析的黄金法则 70

4.1  什么是数据集 70

4.1.1  数据集的概念与常见

类型 70

4.1.2  高效进行数据度量的

实战技巧 72

4.2  做好数据相关性分析 75

4.2.1  进行数据相关性分析的

作用 75

4.2.2  常用的数据相关分析

方法 75

4.3  做好数据回归分析实战要领 82

4.3.1  数据回归分析方法概述 83

4.3.2  数据回归分析所能

解决的实际问题 85

小结 90

第5章  如何利用关联规则进行

大数据挖掘 91

5.1  关联规则 91

5.1.1  什么是关联规则 91

5.1.2  关联规则挖掘的应用

场景 91

5.2  关联规则挖掘实战流程分析 94

5.2.1  关联规则常见分类与

四个基本属性 94

5.2.2  快速找出最大高频

项目组的实战技巧 95

5.3  关联规则发掘中重要的Apriori

算法 97

5.3.1  Apriori算法的基本原理 97

5.3.2  Apriori算法运行的

基本流程 99

5.4  针对Apriori算法缺点的

其他关联规则挖掘算法 101

5.4.1  Apriori算法的两大缺点 101

5.4.2  基于划分规则的算法 101

5.4.3  FP-Growth算法 102

小结 118

第6章  大数据分析中的四种常见

分类算法 119

6.1  分类算法概述 119

6.1.1  有关分类算法的

基本概念 119

6.1.2  分类算法的常见

应用场景 120

6.2  KNN算法 124

6.2.1  KNN算法的工作原理与

特点 124

6.2.2  快速找到最优k值的

实用策略 125

6.3  决策树与随机森林算法 127

6.3.1  决策树算法 127

6.3.2  Bagging与Boosting的

区别 134

6.3.3  随机森林分类算法的

优势与应用场景 135

6.4  朴素贝叶斯分类算法 141

6.4.1  朴素贝叶斯分类算法

运行原理分析 141

6.4.2  贝叶斯网络 144

6.4.3  贝叶斯决策理论 148

6.5  支持向量机 153

6.5.1  支持向量机的基本思想

与特点 153

6.5.2  最优分类面和广义最优

分类面 154

6.5.3  非线性支持向量机与

核函数 157

小结 159

第7章  大数据分析中的四种常见 

聚类算法 160

7.1  大数据分析聚类算法概述 160

7.1.1  聚类分析的相关概念及

应用场景 160

7.1.2  聚类算法运行基础：簇与

距离度量 162

7.2  K均值聚类算法 167

7.2.1  基于划分的K均值聚类

算法 167

7.2.2  二分K均值聚类算

法运行原理 168

7.3  基于密度的DBSCAN聚类

方法 170

7.3.1  DBSCAN算法原理

解析 170

7.3.2  DBSCAN算法的基本

运行流程 171

7.4  高斯混合模型聚类算法 173

7.4.1  GMM算法原理分析 174

7.4.2  GMM的最大期望算法 176

7.5  层次聚类算法 179

7.5.1  层次聚类算法的算法

思想 179

7.5.2  层次聚类算法的运行

原理 179

小结 182

第8章  自组织神经网络算法与     

人工神经网络算法 183

8.1  自组织神经网络算法 183

8.1.1  什么是自组织神经网络 183

8.1.2  自组织映射算法运行

原理 183

8.1.3  进行SOM网络拓扑的

实战方法 184

8.2  人工神经网络算法 187

8.2.1  神经元与人工神经网络 187

8.2.2  BP算法的网络结构与

反向传播 189

小结 192

第9章  互联网大数据分析应用——   

产品个性化推荐系统 193

9.1  推荐算法基本逻辑与常用

推荐算法类型 193

9.1.1  推荐算法的基本运行

逻辑 193

9.1.2  五种常用的推荐算法 196

9.2  打造互联网产品个性化推荐

引擎实战攻略 198

9.2.1  基于内容关联的个性化

推荐系统打造方法 198

9.2.2  基于用户行为的协同

过滤算法实战流程 200

9.2.3  协同过滤推荐算法在电商

个性化推荐系统中的应用

法则 205

9.3  经典互联网产品个性化推荐

系统案例分析 208

9.3.1  网易云音乐推荐算法

机制分析 208

9.3.2  今日头条推荐算法原理

深度解析 212

小结 218

第10章  大数据分析在具体

行业中的应用 219

10.1  大数据分析在商业银行领域的

应用 219

10.1.1  利用大数据分析显著

提升银行精准营销效率

实战方法 219

10.1.2  如何利用大数据分析

提升金融风控安全性 222

10.1.3  利用大数据分析降低

信用卡套现概率实战

技巧 225

10.2  大数据分析在交通领域的

应用 230

10.2.1  公共交通利用出行数据

分析合理分配运力

实战策略 230

10.2.2  大数据分析实现城市的

智能交通 233

10.3  大数据分析在安防领域的

应用 234

10.3.1  大数据分析对实现快速

安检过闸的提升作用 234

10.3.2  家庭安防系统中的

大数据挖掘应用 235

小结 236

参考文献 237