大数据技术与应用

图书标准信息

• 作者 赵亮
• 出版社 电子工业出版社
• 出版时间 2023-04
• 版次 1
• ISBN 9787121453083
• 定价 79.00元
• 装帧 其他
• 开本 16开
• 页数 348页
• 字数 556千字

【内容简介】

“大数据技术与应用”是一门大数据知识入门课程，是数据科学与大数据技术、计算机科学与技术、软件工程等专业的重要前沿理论课程，对于信息类专业的学生掌握大数据相关理论知识并与企业工程实践接轨具有十分重要的作用。本书共包含9章，第1章为初识大数据，第2章为大数据采集，第3章为大数据预处理，第4章为大数据存储，第5章为大数据计算，第6章为大数据挖掘，第7章为大数据安全，第8章为大数据可视化，第9章为大数据应用案例。本书以大数据生命周期为主线，通过理论学习+应用案例，使学生参与到大数据实际处理、分析中来，有利于学生深入理解大数据技术、综合应用大数据技术和面向产业实践大数据技术。本书可作为本科院校相关专业课程的教材，也可供相关技术人员参考。

【作者简介】

赵亮，博士，大连理工大学控制科学与工程学院副教授，硕士生导师。从事工业互联网、智能控制及建筑能源系统信息化等方面的研究，IEC国际标委会委员，辽宁省优秀博士学位论文获得者，英国Staffordshire University访问学者。负责国家自然科学基金项目1项、国家工信部绿色制造系统集成项目1项、辽宁省科技创新重大专项项目1项，负责企业委托开发项目多项，参与国家863重点项目、国家科技支撑项目1项、国家自然科学基金项目等多项，获日内瓦国际发明金奖1项、辽宁省科技进步三等奖1项，获得专利2项，软件著作权登记5项，发表论文50余篇。

【目录】

第1章  初识大数据1

1.1　大数据的概述1

1.1.1  大数据时代的背景及定义1

1.1.2  大数据的特征3

1.1.3  大数据的数据类型4

1.2　大数据的发展6

1.2.1  大数据概念的发展6

1.2.2  大数据技术的发展8

1.3　大数据的关键技术9

1.3.1  大数据采集9

1.3.2  大数据预处理10

1.3.3  大数据存储10

1.3.4  大数据计算12

1.3.5  大数据挖掘13

1.3.6  大数据安全14

1.3.7  大数据可视化16

1.4　大数据的应用案例17

1.4.1  大数据在金融领域中的应用17

1.4.2  大数据在医疗领域中的应用17

1.4.3  大数据在交通领域中的应用18

1.4.4  大数据在土地资源领域中的应用19

1.4.5  大数据的其他应用19

1.5　大数据面临的挑战20

1.5.1  数据隐私和安全20

1.5.2  数据存储和处理20

1.5.3  数据共享机制20

1.5.4  价值挖掘问题21

1.5.5  其他挑战21

1.6　大数据的发展趋势22

思考题24

第2章  大数据采集25

2.1　大数据采集的基础25

2.1.1  传统数据采集25

2.1.2  大数据采集的概述26

2.2　大数据采集的架构27

2.2.1  Scribe28

2.2.2  Chukwa29

2.2.3  Kafka30

2.2.4  Flume35

2.3　互联网数据抓取与处理技术37

2.3.1  App端数据采集38

2.3.2  网络爬虫39

2.3.3  常用的网络爬虫方法43

2.3.4  文本数据处理48

思考题56

第3章  大数据预处理57

3.1　数据基础的概念57

3.1.1  数据对象与属性类型57

3.1.2  数据的统计描述58

3.1.3  数据相似性和相异性的度量方法62

3.2　数据预处理的概述65

3.2.1  数据质量66

3.2.2  主要任务66

3.3　数据清洗67

3.3.1  缺失值处理67

3.3.2  光滑噪声数据处理68

3.3.3  检测偏差与纠正偏差70

3.4　数据集成70

3.4.1  模式识别和对象匹配71

3.4.2  冗余问题71

3.4.3  元组重复73

3.4.4  数据值冲突的检测与处理73

3.5　数据规约74

3.5.1  离散小波变换74

3.5.2  主成分分析75

3.5.3  属性子集选择75

3.5.4  回归和对数线性模型76

3.5.5  直方图77

3.5.6  聚类78

3.5.7  抽样78

3.5.8  数据立方体聚集79

3.6　数据转换80

3.6.1  通过规范化变换数据81

3.6.2  通过离散化变换数据82

3.6.3  标称数据的概念分层变换83

思考题84

第4章  大数据存储85

4.1　HDFS85

4.1.1  HDFS的概述85

4.1.2  HDFS的相关概念88

4.1.3  HDFS的体系结构91

4.1.4  HDFS的存储原理93

4.1.5  HDFS的数据读/写过程96

4.2　分布式数据库HBase98

4.2.1  概述98

4.2.2  HBase访问接口100

4.2.3  HBase列族数据模型101

4.2.4  HBase的实现106

4.2.5  HBase的运行机制110

4.3　NoSQL114

4.3.1  NoSQL的简介114

4.3.2  NoSQL的三大基石118

思考题122

第5章  大数据计算123

5.1　批处理计算123

5.1.1  MapReduce的概述124

5.1.2  Map和Reduce124

5.1.3  MapReduce的工作流程125

5.1.4  MapReduce实例129

5.2　流计算133

5.2.1  流计算的概述133

5.2.2  Storm134

5.2.3  增量算法136

5.3　图计算137

5.3.1  图计算的概述137

5.3.2  Pregel138

5.4　查询分析计算141

5.5　云计算143

5.5.1  云计算的概述143

5.5.2  云计算的关键技术144

5.5.3  云计算与大数据145

5.6　大数据计算平台146

5.6.1  Hadoop146

5.6.2  Spark154

思考题160

第6章  大数据挖掘162

6.1　数据挖掘的基础162

6.1.1  数据挖掘的概述162

6.1.2  数据挖掘的主要任务164

6.1.3  数据挖掘的对象168

6.1.4  数据挖掘的工具168

6.2　聚类分析171

6.2.1  聚类分析的概述171

6.2.2  基于划分的聚类算法174

6.2.3  基于层次的聚类算法183

6.2.4  基于密度的聚类算法190

6.2.5  基于模型的聚类算法194

6.3　分类分析195

6.3.1  分类的基础知识195

6.3.2  决策树分类197

6.3.3  近邻分类器202

6.3.4  贝叶斯分类器204

6.3.5  支持向量机预测205

6.3.6  神经网络预测214

6.4  回归分析220

6.4.1  回归分析的概述220

6.4.2  线性回归模型221

6.4.3  支持向量回归模型223

6.4.4  逻辑回归模型225

6.5　关联分析227

6.5.1  关联分析的概述228

6.5.2  Apriori算法230

6.5.3  FP增长算法235