正版现货新书 大数据处理技术与应用 9787302553731 彭进香、张莉

这是一个互联网技术及应用高速发展的时代，那些随手可得的互联网应用深刻影响着社会经济的发展，切实改变了人们生活的方方面面，互联网已然成为人们不可或缺的信息工具。与此同时，基于互联网技术的飞速发展，网络数字化生活形态的形成，使得互联网数据逐渐累积，因此大数据就成为互联网时代的产物。阿里巴巴集团创始人马云在演讲中就提到，未来的时代将不是IT时代，而是DT的时代。DT就是Data  Technology(数据技术)，说明大数据对于阿里巴巴集团来说举足轻重。

有媒体称：数据已经成为一种新的经济资产类别，就像黄金和货币一样！鉴于大数据巨大的商业价值，大数据专家在企业非常受重视。大数据处理的相关知识、技术及其应用与社会经济各个领域的融合越来越深入，相关领域的专业技术人员迫切需要建立完整的互联网大数据处理与应用的知识体系，以适应大数据发展趋势的要求。

本书内容以大数据理论基础、大数据处理的实践技术方法和大数据技术的具体应用为主线。本书内容结构清晰，案例多样且时效性强，致力于通过理论及案例的讲解帮助读者掌握大数据处理及应用等方面的实战方法，以达到“真正掌握互联网大数据处理及应用实战方法”的效果。

本书由湖南应用技术学院信息工程学院彭进香、张莉撰写，作者团队对互联网企业从事数据挖掘有较深的研究，在大数据挖掘、分析及实战场景应用方面具有深厚经验。本书支持项目为湖南应用技术学院“十三五”校级首批重点建设学科：计算机应用技术，学科代码为081203，项目编号为XKJSHY2017-3。在本书写作过程中，作者还借鉴了目前大数据相关领域的参考资料、文献及重要研究成果与案例，在此向相关文献资料的作者一并表示感谢！

由于作者水平有限，书中难免有疏漏或错误之处，敬请广大读者批评指正。

作  者

《大数据处理技术与应用》对大数据的概念、挖掘、应用进行了系统的介绍，并且配备了相关的案例以及实际操作过程。这种理论与实践相结合的方式能够极大地帮助读者掌握大数据领域的相关理论知识。 《大数据处理技术与应用》共分为10章，主要内容包含互联网大数据概述、互联网大数据采集与获取实战要领、做好数据预处理的实战方法、数据相关性分析与回归分析的黄金法则、如何利用关联规则进行大数据挖掘、大数据分析中的四种常见分类算法、大数据分析中的四种常见聚类算法，以及自组织神经网络算法与人工神经网络算法、互联网大数据分析应用——产品个性化推荐系统、大数据分析在具体行业中的应用等。 《大数据处理技术与应用》知识体系完善且适用，可作为高等院校大数据、人工智能等相关专业课程的教材，也可作为从事数据挖掘、机器学习工作以及其他相关工程技术工作人员的参考书。

彭进香，湖南应用技术学院信息工程学院院长，副教授，市级优秀教师，“十三五”校级首批重点建设学科——计算机应用技术学科建设负责人。近年来主持和参与省、市级教研、科研项目20多项，指导省大学生研究性学习和创新性实验计划项目2项，发表研究论文20多篇，主编和参编教材6部，专利1项，软件著作权2项。对互联网企业从事数据挖掘有较深的研究，在大数据挖掘、分析及实战场景应用方面具有深厚经验。

第1章  互联网大数据概述 1
1.1  认识大数据 1
1.1.1  大数据的定义 1
1.1.2  大数据的特征 2
1.1.3  未来十年大数据分析的
发展趋势 3
1.2  常用大数据处理、分析工具介绍 4
1.2.1  大数据的存储工具 4
1.2.2  大数据的软件开发工具 6
1.2.3  大数据的挖掘工具 7
1.2.4  大数据的可视化工具 9
小结 11
第2章  互联网大数据采集与
获取实战要领 12
2.1  互联网大数据采集与处理技术
概述 12
2.1.1  数据采集的基本流程与
关键技术 12
2.1.2  数据处理的基本流程与
关键技术 14
2.2  Web页面数据获取实战方法 15
2.2.1  Jsoup技术与页面数据
获取 15
2.2.2  应对特定领域的
Deep Web数据获取技术 20
2.3  利用爬虫抓取互联网大数据
实战技巧 22
2.3.1  Python爬虫工作原理 22
2.3.2  利用HtmlParser实现
网页链接的提取实战 25
小结 31
第3章  做好数据预处理的实战
方法 33
3.1  数据预处理概述 33
3.1.1  数据预处理的目的 33
3.1.2  数据预处理的方法 33
3.2  从问题分析到数据清洗实战
策略 35
3.2.1  数据清洗的步骤 36
3.2.2  缺失值的识别与处理
技巧 38
3.2.3  异常值的判断、检验与
处理 40
3.3  数据集成与数据转换实战方法 44
3.3.1  数据集成常见方法 44
3.3.2  数据转换过程中的
离散化 47
3.4  数据的特征选择 49
3.4.1  常用数据特征选择方法 49
3.4.2  Relief算法与费希尔
判别法的应用 57
3.5  数据预处理实战案例分析 60
小结 69
第4章  数据相关性分析与回归    
分析的黄金法则 70
4.1  什么是数据集 70
4.1.1  数据集的概念与常见
类型 70
4.1.2  高效进行数据度量的
实战技巧 72
4.2  做好数据相关性分析 75
4.2.1  进行数据相关性分析的
作用 75
4.2.2  常用的数据相关分析
方法 75
4.3  做好数据回归分析实战要领 82
4.3.1  数据回归分析方法概述 83
4.3.2  数据回归分析所能
解决的实际问题 85
小结 90
第5章  如何利用关联规则进行
大数据挖掘 91
5.1  关联规则 91
5.1.1  什么是关联规则 91
5.1.2  关联规则挖掘的应用
场景 91
5.2  关联规则挖掘实战流程分析 94
5.2.1  关联规则常见分类与
四个基本属性 94
5.2.2  快速找出高频
项目组的实战技巧 95
5.3  关联规则发掘中重要的Apriori
算法 97
5.3.1  Apriori算法的基本原理 97
5.3.2  Apriori算法运行的
基本流程 99
5.4  针对Apriori算法缺点的
其他关联规则挖掘算法 101
5.4.1  Apriori算法的两大缺点 101
5.4.2  基于划分规则的算法 101
5.4.3  FP-Growth算法 102
小结 118
第6章  大数据分析中的四种常见
分类算法 119
6.1  分类算法概述 119
6.1.1  有关分类算法的
基本概念 119
6.1.2  分类算法的常见
应用场景 120
6.2  KNN算法 124
6.2.1  KNN算法的工作原理与
特点 124
6.2.2  快速找到k值的
实用策略 125
6.3  决策树与随机森林算法 127
6.3.1  决策树算法 127
6.3.2  Bagging与Boosting的
区别 134
6.3.3  随机森林分类算法的
优势与应用场景 135
6.4  朴素贝叶斯分类算法 141
6.4.1  朴素贝叶斯分类算法
运行原理分析 141
6.4.2  贝叶斯网络 144
6.4.3  贝叶斯决策理论 148
6.5  支持向量机 153
6.5.1  支持向量机的基本思想
与特点 153
6.5.2  分类面和广义
分类面 154
6.5.3  非线性支持向量机与
核函数 157
小结 159
第7章  大数据分析中的四种常见 
聚类算法 160
7.1  大数据分析聚类算法概述 160
7.1.1  聚类分析的相关概念及
应用场景 160
7.1.2  聚类算法运行基础：簇与
距离度量 162
7.2  K均值聚类算法 167
7.2.1  基于划分的K均值聚类
算法 167
7.2.2  二分K均值聚类算
法运行原理 168
7.3  基于密度的DBSCAN聚类
方法 170
7.3.1  DBSCAN算法原理
解析 170
7.3.2  DBSCAN算法的基本
运行流程 171
7.4  高斯混合模型聚类算法 173
7.4.1  GMM算法原理分析 174
7.4.2  GMM的期望算法 176
7.5  层次聚类算法 179
7.5.1  层次聚类算法的算法
思想 179
7.5.2  层次聚类算法的运行
原理 179
小结 182
第8章  自组织神经网络算法与     
人工神经网络算法 183
8.1  自组织神经网络算法 183
8.1.1  什么是自组织神经网络 183
8.1.2  自组织映射算法运行
原理 183
8.1.3  进行SOM网络拓扑的
实战方法 184
8.2  人工神经网络算法 187
8.2.1  神经元与人工神经网络 187
8.2.2  BP算法的网络结构与
反向传播 189
小结 192
第9章  互联网大数据分析应用——   
产品个性化推荐系统 193
9.1  推荐算法基本逻辑与常用
推荐算法类型 193
9.1.1  推荐算法的基本运行
逻辑 193
9.1.2  五种常用的推荐算法 196
9.2  打造互联网产品个性化推荐
引擎实战攻略 198
9.2.1  基于内容关联的个性化
推荐系统打造方法 198
9.2.2  基于用户行为的协同
过滤算法实战流程 200
9.2.3  协同过滤推荐算法在电商
个性化推荐系统中的应用
法则 205
9.3  经典互联网产品个性化推荐
系统案例分析 208
9.3.1  网易云音乐推荐算法
机制分析 208
9.3.2  今日头条推荐算法原理
深度解析 212
小结 218
第10章  大数据分析在具体
行业中的应用 219
10.1  大数据分析在商业银行领域的
应用 219
10.1.1  利用大数据分析显著
提升银行精准营销效率
实战方法 219
10.1.2  如何利用大数据分析
提升金融风控安全性 222

10.1.3  利用大数据分析降低
信用卡套现概率实战
技巧 225
10.2  大数据分析在交通领域的
应用 230
10.2.1  公共交通利用出行数据
分析合理分配运力
实战策略 230
10.2.2  大数据分析实现城市的
智能交通 233
10.3  大数据分析在安防领域的
应用 234
10.3.1  大数据分析对实现快速
安检过闸的提升作用 234
10.3.2  家庭安防系统中的
大数据挖掘应用 235
小结 236
参考文献 237

《大数据处理技术与应用》对大数据的概念、挖掘、应用进行了系统的介绍，并且配备了相关的案例以及实际操作过程。这种理论与实践相结合的方式能够极大地帮助读者掌握大数据领域的相关理论知识。 《大数据处理技术与应用》共分为10章，主要内容包含互联网大数据概述、互联网大数据采集与获取实战要领、做好数据预处理的实战方法、数据相关性分析与回归分析的黄金法则、如何利用关联规则进行大数据挖掘、大数据分析中的四种常见分类算法、大数据分析中的四种常见聚类算法，以及自组织神经网络算法与人工神经网络算法、互联网大数据分析应用——产品个性化推荐系统、大数据分析在具体行业中的应用等。 《大数据处理技术与应用》知识体系完善且适用，可作为高等院校大数据、人工智能等相关专业课程的教材，也可作为从事数据挖掘、机器学习工作以及其他相关工程技术工作人员的参考书。

彭进香，湖南应用技术学院信息工程学院院长，副教授，市级优秀教师，“十三五”校级首批重点建设学科——计算机应用技术学科建设负责人。近年来主持和参与省、市级教研、科研项目20多项，指导省大学生研究性学习和创新性实验计划项目2项，发表研究论文20多篇，主编和参编教材6部，专利1项，软件著作权2项。对互联网企业从事数据挖掘有较深的研究，在大数据挖掘、分析及实战场景应用方面具有深厚经验。