大数据技术与应用基础教程

图书标准信息

• 作者 陈树广、赵彦峰 著
• 出版社 中国财政经济出版社
• 出版时间 2021-09
• 版次 1
• ISBN 9787522305882
• 定价 52.00元
• 装帧 平装
• 开本 16开
• 纸张 胶版纸
• 页数 308页

【内容简介】

    “大数据导论”是一门理论性和实践性都很强的课程。本教材针对信息管理、经济管理和其他相关专业学生的发展需求，系统、全面地介绍了关于大数据技术与应用的基本知识和技能，详细介绍了大数据与大数据时代、大数据的可视化、大数据的商业规则、大数据时代的思维变革、大数据促进医疗与健康、大数据激发创造力、大数据预测分析、大数据促进学习、大数据在云端、支撑大数据的技术、数据科学与数据科学家和大数据的未来等内容，具有较强的系统性、可读性和实用性。本书是为高等院校相关专业“大数据基础”“大数据导论”等课程全新设计编写，具有丰富实践特色的主教材，也可供有一定实践经验的软件开发人员、管理人员参考和作为继续教育的教材。

【作者简介】

陈树广，1972年3月生，山东聊城人，中共党员、副教授，硕士，中国计算机学会高级会员，兼任信息系党支部书记。 主要研究方向：大数据管理与应用、网络安全与IT运维 主讲课程：《计算机网络》、《大型数据库》、《互联网创业方法》《大数据技术与应用》等。 主要科研成果：主持或参与国家统计局重点项目、陕西省科技厅、陕西省哲学社会科学基金等省部级以上项目26项；合作出版教材或专著2部；公开发表学术论文18篇，其中核心期刊12篇。多年来指导大学生获得全国大学生挑战杯一等奖、多项大学生三创奖项及大创项目。为原西安统计学院“大学生记者团”与原西安财经学院“五叶草实验室”创始人。

【目录】

 

第1章 大数据概论

 

 

1.1 大数据技术简介

 

 

1.1.1 信息技术的发展简史

 

 

1.1.2 大数据概述

 

 

1.2 大数据时代

 

 

1.2.1 大数据的产生和作用

 

 

1.2.2 大数据时代的10个重大变化

 

 

1.3 大数据处理的基本流程

 

 

1.3.1 数据抽取与集成

 

 

1.3.2 数据分析

 

 

1.3.3 数据解释

 

 

1.4 大数据开发涉及到的关键技术

 

 

1.4.1 大数据采集技术

 

 

1.4.2 大数据预处理技术

 

 

1.4.3 大数据存储及管理技术

 

 

1.4.4 大数据处理

 

 

1.4.5 大数据分析及挖掘技术

 

 

1.4.6 大数据展示技术

 

 

第2章 大数据采集技术概述

 

 

2.1 大数据分类

 

 

2.2 大数据采集方法分类

 

 

2.3 通过系统日志采集大数据

 

 

2.3.1 Flume的基本概念

 

 

2.3.2Flume使用方法

 

 

2.3.3Flume应用案例

 

 

2.4 通过网络爬虫采集大数据

 

 

2.4.1网络爬虫原理

 

 

2.4.2网络爬虫工作流程

 

 

2.4.3网络爬虫抓取策略

 

 

2.5 Scrapy网络爬虫简介

 

 

2.5.1.Scrapy架构

 

 

2.5.2Scrapy安装与应用案例

 

 

第3章 大数据预处理架构和方法简介

 

 

3.1大数据预处理整体架构

 

 

3.1.1数据质量问题分类

 

 

3.2大数据预处理方法

 

 

3.3大数据预处理之数据清洗

 

 

3.3.1遗漏数据处理

 

 

3.3.2噪声数据处理

 

 

3.3.3不一致数据处理

 

 

3.4大数据预处理之数据集成

 

 

3.4.1模式集成问题

 

 

3.4.2冗余问题

 

 

3.4.3数据值冲突检测与消除问题

 

 

3.5大数据预处理之数据转换

 

 

3.5.1平滑处理

 

 

3.5.2合计处理

 

 

3.5.3数据泛化处理

 

 

3.5.4规格化处理

 

 

3.5.5属性构造处理

 

 

3.6大数据预处理之数据消减

 

 

3.6.1数据立方合计

 

 

3.6.2维数消减

 

 

3.6.3数据压缩

 

 

3.6.4数据块消减

 

 

3.7离散化和数值概念层次树简介

 

 

3.7.1数值概念层次树

 

 

3.7.2类别概念层次树

 

 

第4章 大数据处理技术

 

 

4.1分布式计算

 

 

4.2服务器集群

 

 

4.3大数据的技术基础

 

 

4.4GFS、MapReduce和BigTable：Google的三种大数据处理系统

 

 

4.4.1GFS 90

 

 

4.4.2MapReduce

 

 

4.4.3BigTable

 

 

第5章 Hadoop大数据处理框架简介

 

 

5.1Hadoop系统简介

 

 

5.1.1Hadoop生态圈

 

 

5.1.2Hadoop版本演进

 

 

5.1.3Hadoop发行版本

 

 

5.2HadoopHDFS分布式文件

 

 

5.2.1HDFS基本原理和设计理念

 

 

5.2.2HDFS架构和实现机制简介

 

 

5.2.3HDFS读取和写入数据简介

 

 

5.3HDFS两种操作方式：命令行和JavaAPI

 

 

5.3.1HDFS常用命令

 

 

5.3.2HDFS的Web界面

 

 

5.3.3HDFS的JavaAPI

 

 

第6章 NoSQL非关系型数据库简介

 

 

6.1NoSQL概述

 

 

6.1.1NoSQL的起因

 

 

6.1.2NoSQL的特点

 

 

6.1.3NoSQL数据库面临的挑战

 

 

6.2NoSQL数据库类型简介

 

 

6.2.1键值数据库

 

 

6.2.2列式数据库

 

 

6.2.3文档数据库

 

 

6.4.4图形数据库

 

 

第7章 HadoopHBase数据库简介

 

 

7.1HBase列式数据模型简介

 

 

7.1.1数据模型概述

 

 

7.1.2数据模型的基本概念

 

 

7.1.3概念视图

 

 

7.1.4物理视图

 

 

7.2HBaseShell常用命令和基本操作

 

 

7.2.1―般操作

 

 

7.2.2DDL操作

 

 

7.2.3DML操作

 

 

7.2.4HBase表实例

 

 

7.3HBase的物理存储和逻辑架构

 

 

7.3.1HBase的物理存储

 

 

7.3.2HBase的逻辑架构

 

 

7.4HBase常用JavaAPI

 

 

7.4.1HBase的常用JavaAPI

 

 

7.5HBaseJavaAPI编程实例

 

 

7.5.1建立连接和关闭连接

 

 

7.5.2创建表

 

 

第8章 HadoopMapReduce简介

 

 

8.1批处理模式

 

 

8.1.1MapReduce简释

 

 

8.2MapReduce基本思想

 

 

8.2.1.大数据处理思想：分而治之

 

 

8.2.2构建抽象模型：Map函数和Reduce函数

 

 

8.2.3Map函数和Reduce函数

 

 

8.3HadoopMapReduce架构

 

 

8.4HadoopMapReduce工作流程

 

 

8.5MapReduce实例分析：单词计数

 

 

8.5.1设计思路

 

 

8.5.2处理过程

 

 

8.6MapReduce执行流程和Shuffle过程

 

 

8.6.1HadoopMapReduce作业执行流程

 

 

8.6.2HadoopMapReduce的Shuffle阶段

 

 

8.6.3HadoopMapReduce的主要特点

 

 

8.7MapReduce编程实例：单词计数

 

 

8.7.1任务准备

 

 

8.7.2编写Map程序

 

 

8.7.3编写Reduce程序

 

 

8.7.4编写main函数

 

 

8.7.5核心代码包

 

 

第9章 Spark简介

 

 

9.1Spark与Hadoop

 

 

9.1.1HadoopMapRedcue缺点

 

 

9.1.2Spark的优势

 

 

9.1.3Spark的适用场景

 

 

9.1.4Spark安装与环境配置

 

 

9.2SparkRDD

 

 

9.2.1RDD的基本概念

 

 

9.2.2RDD基本操作

 

 

9.2.3RDD血缘关系

 

 

9.2.4RDD依赖类型

 

 

9.2.5阶段划分

 

 

9.2.6RDD缓存

 

 

9.3Spark总体架构和运行流程

 

 

9.3.1Spark总体架构

 

 

9.3.2Spark运行流程

 

 

9.4Spark生态圈简介

 

 

9.4.1SparkCore

 

 

9.4.2SparkStreaming

 

 

9.4.3SparkSQL

 

 

9.4.4SparkMLlib

 

 

9.4.5SparkGraphX

 

 

9.5Spark开发实例

 

 

9.5.1启动SparkShell

 

 

9.5.2SparkShell使用

 

 

9.5.3编写Java应用程序

 

 

9.6SparkStreaming简介

 

 

9.6.1SparkStreaming的系统架构

 

 

9.6.2SparkStreaming编程模型

 

 

9.6.3SparkDStream相关操作

 

 

9.7SparkStreaming编程实战（开发实例）

 

 

9.7.1流数据模拟器

 

 

第10章 数据挖掘

 

 

10.1数据挖掘概述

 

 

10.1.1什么是数据挖掘

 

 

10.1.2数据挖掘的价值类型

 

 

10.1.3数据挖掘算法的类型

 

 

10.2 SparkMLlib简介

 

 

10.2.1SparkMLlib的构成

 

 

10.2.2SparkMLlib的优势

 

 

10.3数据挖掘之分类和预测简介

 

 

10.3.1分类的基本概念

 

 

10.3.2预测的基本概念

 

 

10.4决策树和朴素贝叶斯算法简介

 

 

10.4.1决策树算法

 

 

1.决策树案例

 

 

2.决策树的建立

 

 

3.SparkMLlib决策树算法

 

 

4.SparkMLlib决策树算法实例

 

 

5.决策树算法优缺点

 

 

10.5朴素贝叶斯算法

 

 

1.贝叶斯公式

 

 

2.工作原理

 

 

3.SparkMLlib朴素贝叶斯算法

 

 

4.SparkMLlib朴素贝叶斯算法实例

 

 

5.算法优缺点

 

 

10.6回归分析预测技术简介

 

 

1.线性回归

 

 

2.SparkMLlib的SGD线性回归算法

 

 

3.SparkMLlib的SGD线性回归算法实例

 

 

4.逻辑回归

 

 

10.7聚类分析

 

 

10.7.1基本概念

 

 

10.7.2聚类分析方法的类别

 

 

1.基于划分的聚类方法

 

 

2.基于层次的聚类方法

 

 

3.基于密度的聚类方法

 

 

4.基于网格的聚类方法

 

 

5.基于模型的聚类方法

 

 

10.8k-means聚类算法简介

 

 

1.基本思想

 

 

2.SparkMLlib中的k-means算法

 

 

3.MLlib中的k-means算法实例

 

 

4.算法优缺点

 

 

10.9DBSCAN聚类算法简介

 

 

1.基本概念

 

 

2.算法描述

 

 

3.算法实例

 

 

4.DBSCAN算法算法优缺点

 

 

10.10数据挖掘之关联规则分析简介

 

 

10.10.1概述

 

 

10.10.2基本概念

 

 

10.10.3关联分析步骤

 

 

2.发现关联规则

 

 

10.11Apriori算法和FP-Tree算法简介

 

 

10.11.1Apriori关联分析算法

 

 

1.Apriori算法

 

 

2.由频繁项集产生关联规则

 

 

3.算法优缺点

 

 

10.11.2FP-Tree关联分析算法

 

 

1.FP―Tree的构造

 

 

2.FP-Tree的挖掘

 

 

3.MLlib的FP-Growth算法实例

 

 

第11章 基于大数据的精准营销

 

 

11.1精准营销概述

 

 

11.2大数据精准营销过程

 

 

1. 助力客户信息收集与处理

 

 

2. 客户细分与市场定位

 

 

3. 辅助营销决策与营销战略设计

 

 

4. 精准的营销服务

 

 

5. 营销方案设计

 

 

6. 营销结果反馈

 

 

11.3大数据精准营销方式

 

 

1. 实时竞价（RTB）

 

 

2. 交叉销售

 

 

3. 点告

 

 

4. 窄告

 

 

5. 定向广告推送

 

 

第12章 基于大数据的个性化推荐系统

 

 

12.1推荐系统概述

 

 

12.2推荐机制

 

 

1. 基于人口统计学的推荐

 

 

2. 基于内容的推荐

 

 

3. 基于协同过滤的推荐

 

 

4. 混合推荐机制

 

 

12.3推荐系统的应用

 

 

12.3.1推荐在电子商务中的应用：Amazon

 

 

12.3.2推荐在社交网站中的应用：豆瓣

 

 

第13章 大数据预测

 

 

13.1预测是大数据的核心价值

 

 

13.2大数据预测的思维改变

 

 

13.3大数据预测的典型应用领域

 

 

第14章 大数据在金融行业的应用

 

 

14.1大数据可以应用的行业

 

 

14.2银行大数据应用场景

 

 

14.3证券行业数据应用场景

 

 

14.4保险行业数据应用场景

 

 

第15章 大数据在互联网行业的应用

 

 

15.1精准营销

 

 

15.2.个性化服务

 

 

15.3商品个性化推荐

 

 

第16章 大数据在物流行业的应用

 

 

16.1物流大数据的作用

 

 

16.2物流大数据应用案例

 

 

16.3Amazon物流大数据应用

 

 

16．4国际物流大数据应用

 

 

16.5大数据的其他应用领域

 

 

第17章 大数据治理

 

 

17.1大数据治理的策略

 

 

17.2元数据与主数据管理

 

 

17.3数据质量管理

 

 

17.4数据标准管理

 

 

17.5数据资产管理

 

 

17.6大数据治理发展之路

 

 

17.7大数据治理的五个核心要素

 

 

17.8自服务大数据治理是解决问题之道

 

 

17.9大数据治理技术需要不断革新

 

 

17.9如何选择合适的大数据治理工具

 

 

17.10大数据治理在人工智能的作用

 

 

17.11区块链和AI如何帮助主数据管理