数据分析与大数据应用

图书标准信息

• 作者 陈思华；齐亚伟；杨海文
• 出版社 科学出版社
• 出版时间 2022-04
• 版次 1
• ISBN 9787030717061
• 定价 58.00元
• 装帧 平装
• 开本 16开
• 纸张 胶版纸
• 页数 244页
• 字数 362.000千字

【内容简介】

《数据分析与大数据应用》以常见的数据分析与大数据应用方法为主线，按照数据采集、数据存储与管理、数据预处理、数据分析与挖掘的逻辑关系分析大数据时代应如何采用量化方法分析经济问题。《数据分析与大数据应用》在定性分析的基础上，采用大量的实例和软件操作插图来直观地解释大数据分析方法的原理和应用，为读者提供“一站式”服务。同时，通过对线性回归、逻辑回归等计量方法，主成分分析、聚类分析等统计方法，以及神经网络、决策树、随机森林等机器学习方法的学习，实现大数据背景下传统计量、统计学数据分析方法向人工智能、机器学习方法的过渡。

【目录】

目录

第1章　大数据分析技术概述　1

1.1　大数据的内涵　1

1.1.1　数据的概念　1

1.1.2　大数据的概念　2

1.1.3　大数据的分类　3

1.1.4　大数据的特征　4

1.1.5　常见的大数据应用场景　5

1.2　大数据时代企业管理决策面临的挑战　7

1.2.1　数据分析人才不足　8

1.2.2　数据分析的局限性　8

1.2.3　传统观念根深蒂固　8

1.2.4　数据安全存在隐患　9

1.2.5　未形成有效的大数据思维　9

1.3　大数据对企业管理决策的影响　9

1.3.1　优化决策环境　9

1.3.2　提高决策能力　9

1.3.3　改变决策模式　10

1.3.4　提升决策技术　10

1.3.5　完善知识管理　10

1.3.6　改变决策文化　11

1.4　常见的大数据分析技术　11

1.4.1　数据采集　12

1.4.2　数据存储与管理　14

1.4.3　数据预处理　14

1.4.4　数据分析与挖掘　15

1.4.5　数据可视化　19

1.5　大数据分析工具介绍　20

1.5.1　Hadoop简介　20

1.5.2　Stata简介　21

1.5.3　R简介　21

1.5.4　Python简介　22

本章小结　25

第2章　大数据的采集　26

2.1　网络爬虫介绍　26

2.2　网络爬虫应用　27

2.2.1　网络爬虫的基本结构及工作流程　28

2.2.2　抓取策略　29

2.3　网络爬虫程序Web Scraper　30

2.3.1　Web Scraper的下载与安装　30

2.3.2　Web Scraper的菜单介绍　31

2.4　案例分析　32

2.4.1　案例分析一：爬取同花顺股票交易信息　32

2.4.2　案例分析二：爬取豆瓣电影Top250的数据　35

2.4.3　案例分析三：爬取百度学术的文献信息　37

2.5　网络爬虫的边界　40

2.5.1　数据的采集途径　40

2.5.2　数据的采集行为　41

2.5.3　数据的使用目的　41

本章小结　43

第3章　文献检索与可视化分析　44

3.1　文献检索　44

3.1.1　文献计量学的建立　44

3.1.2　文献检索方法　45

3.1.3　常用的文献检索工具　45

3.1.4　常用的文献检索技巧　47

3.1.5　检索文献导出操作　49

3.2　文献计量学的分析原理　51

3.3　文献可视化分析　52

3.3.1　VOSviewer的下载与使用　52

3.3.2　VOSviewer的文献可视化分析方法　53

3.4　案例分析　55

3.4.1　数据库文献的导出　55

3.4.2　VOSviewer的数据导入　56

3.4.3　VOSviewer中的作者合作分析　58

3.4.4　VOSviewer中的文献耦合分析　64

3.4.5　VOSviewer中的共被引分析　67

本章小结　72

第4章　线性回归分析　74

4.1　回归分析概述　74

4.1.1　回归分析的基本概念　74

4.1.2　总体回归函数　75

4.1.3　随机干扰项　77

4.1.4　样本回归函数　78

4.1.5　大数据时代对传统回归分析的冲击　80

4.2　线性回归模型　80

4.2.1　线性回归模型的概述　80

4.2.2　线性回归模型的基本假设　81

4.2.3　线性回归模型的参数估计　84

4.2.4　参数估计量的统计性质　87

4.2.5　线性回归模型的统计检验　89

4.2.6　线性回归模型的预测　94

4.3　非线性模型的线性化　96

4.3.1　模型的类型与变换　96

4.3.2　非线性模型的线性化实例　97

4.4　含有虚拟变量的线性模型　101

4.4.1　含有虚拟变量的模型　101

4.4.2　虚拟变量的引入　101

4.5　案例分析　107

本章小结　111

第5章　Logit回归　112

5.1　Logit回归概述　112

5.1.1　线性概率模型　112

5.1.2　Logit模型的构建　112

5.2　Logit回归的估计方法　114

5.2.1　似然估计法的原理　114

5.2.2　Logit模型的似然估计　116

5.3　Logit回归的解释　116

5.3.1　边际效应　116

5.3.2　回归系数的经济意义　117

5.4　Logit回归的评价　118

5.4.1　拟合优度　118

5.4.2　似然比检验　118

5.4.3　预测概率　119

5.5　案例分析　120

本章小结　127

第6章　主成分分析　129

6.1　主成分分析的基本原理　129

6.1.1　主成分分析的基本思想　129

6.1.2　主成分分析的基本理论　130

6.1.3　主成分分析的几何意义　130

6.2　总体主成分分析　132

6.2.1　从协方差矩阵求解主成分　132

6.2.2　总体主成分分析的主要性质　133

6.2.3　主成分的个数　136

6.2.4　从相关系数矩阵出发求解主成分　138

6.3　样本主成分分析　139

6.3.1　样本主成分的定义与性质　139

6.3.2　主成分的计算步骤　141

6.4　有关问题的讨论　142

6.4.1　关于由协方差矩阵或相关系数矩阵出发求解主成分　142

6.4.2　主成分分析不要求数据来自正态总体　142

6.4.3　主成分分析与重叠信息　143

6.5　案例分析　144

本章小结　153

第7章　聚类分析　154

7.1　聚类分析概述　154

7.1.1　数值变量的相似性测度　154

7.1.2　名义变量的相似性测度　155

7.2　基于层次的聚类方法　156

7.2.1　层次聚类法概述　156

7.2.2　短距离法　156

7.2.3　长距离法　158

7.2.4　类间平均法　159

7.2.5　类间重心法　159

7.2.6　离差平方和法　159

7.3　基于划分的聚类方法　159

7.3.1　均值聚类法概述　160

7.3.2　均值聚类法实例　160

7.4　案例分析　163

本章小结　171

第8章　神经网络　172

8.1　神经元网络　172

8.1.1　神经元模型概述　172

8.1.2　激活函数　173

8.2　感知机与多层网络　174

8.2.1　感知机　174

8.2.2　多层网络　175

8.3　误差逆传播算法　176

8.3.1　误差逆传播算法概述　176

8.3.2　误差逆传播算法公式推导　176

8.3.3　误差逆传播算法工作流程　178

8.3.4　过拟合问题　179

8.4　全局小与局部小　179

8.5　深度学习　181

8.6　案例分析　182

本章小结　191

第9章　决策树　193

9.1　决策树模型与学习　193

9.1.1　决策树模型　193

9.1.2　决策树与if-then规则　194

9.1.3　决策树与条件概率分布　194

9.1.4　决策树学习　195

9.2　决策树的特征选择　196

9.2.1　特征选择问题　196

9.2.2　信息增益　198

9.2.3　信息增益比　200

9.2.4　基尼指数　201

9.3　决策树的剪枝　201

9.3.1　预剪枝　202

9.3.2　后剪枝　202

9.4　决策树的生成　204

9.4.1　ID3算法　204

9.4.2　C4.5算法　205

9.4.3　CART算法　205

9.4.4　CART生成　206

9.5　案例分析　210

9.5.1　数据处理　210

9.5.2　决策树模型建立　212

9.5.3　决策树剪枝　214

本章小结　217

第10章　随机森林　218

10.1　集成学习　218

10.1.1　集成学习概述　218

10.1.2　集成学习分类　219

10.2　Bagging算法　219

10.2.1　自助法　219

10.2.2　Bagging算法的具体流程　220

10.3　随机森林算法介绍　221

10.3.1　随机森林概述　221

10.3.2　随机森林的优缺点　221

10.4　模型评估　221

10.4.1　查准率、查全率与　221

10.4.2　ROC与AUC　223

10.5　案例分析　225

10.5.1　iris数据集简介　225

10.5.2　R语言操作　225

本章小结　228

参考文献　230