大数据解析与应用导论

1绪论1

1.1统计学基础1

1.1.1期望、方差、协方差1

1.1.2一元高斯分布3

1.1.3多元高斯分布3

1.1.4KL散度4

1.2人工智能简介4

1.2.1人工智能的概念5

1.2.2人工智能的发展5

1.2.3人工智能的学派7

1.3机器学习7

1.3.1基本概念8

1.3.2机器学习的范式8

1.3.3机器学习的三要素9

1.3.4过拟合与正则化11

1.3.5偏差与方差12

1.4深度学习14

1.4.1生物神经网络14

1.4.2人工神经网络15

1.4.3主流的深度学习框架16

本章小结17

习题117

参考文献18

2数据预处理与特征工程20

2.1数据预处理20

2.1.1数据清洗21

2.1.2数据变换24

2.2特征工程27

2.2.1特征提取27

2.2.2特征选择27

2.3应用实例30

2.3.1数据集简介与环境准备30

2.3.2数据集导入与字段理解31

2.3.3缺失值处理31

2.3.4异常值处理32

2.3.5数据变换33

2.3.6特征工程34

2.3.7案例小结34

本章小结34

习题235

参考文献36

3数据降维37

3.1数据降维简介37

3.2主成分分析算法38

3.2.1主成分分析算法简介38

3.2.2主成分分析的数学原理38

3.2.3主成分分析的直观理解40

3.3慢特征分析算法41

3.3.1慢特征分析算法简介41

3.3.2慢特征分析的数学原理41

3.3.3慢特征分析的直观理解43

3.4应用实例44

3.4.1主成分分析的数值示例44

3.4.2主成分分析的应用示例45

本章小结47

习题347

参考文献48

4回归分析50

4.1回归分析基本概念50

4.1.1回归的起源50

4.1.2回归模型的建立及应用51

4.1.3回归模型分类52

4.1.4回归模型效果评估52

4.2最小二乘回归53

4.2.1最小二乘法拟合目标53

4.2.2最小二乘回归原理54

4.2.3最小二乘法的几何意义56

4.2.4最小二乘法的缺陷57

4.3岭回归与LASSO回归57

4.3.1岭回归算法58

4.3.2LASSO回归算法61

4.3.3线性回归模型的正则化项63

4.4主元回归64

4.4.1维数灾难64

4.4.2主元回归建模65

4.4.3主成分个数选取65

4.4.4主元回归与岭回归66

4.5偏最小二乘回归66

4.5.1偏最小二乘建模67

4.5.2目标函数与算法推导67

4.5.3潜变量个数确定69

4.6回归案例分析70

本章小结72

习题472

参考文献73

5聚类分析75

5.1基本思想与概念75

5.1.1聚类的概念75

5.1.2聚类算法分类76

5.2相似性度量77

5.2.1相似性度量的基本概念77

5.2.2距离度量77

5.2.3相关系数81

5.2.4选择相似性衡量手段的原则82

5.3K-均值聚类算法简介83

5.3.1算法思想83

5.3.2算法流程84

5.3.3算法关键影响因素85

5.3.4算法应用：图像压缩86

5.4高斯混合模型简介87

5.4.1算法介绍87

5.4.2利用GMM算法进行聚类88

5.4.3算法示例88

本章小结91

习题591

参考文献92

6判别分析93

6.1基本理论93

6.1.1判别的基本概念93

6.1.2判别的效果评估94

6.2距离判别94

6.3贝叶斯判别95

6.3.1贝叶斯的统计思想96

6.3.2贝叶斯最小错误率判别96

6.3.3贝叶斯最小风险判别97

6.3.4先验概率的选取97

6.3.5多总体贝叶斯判别准则98

6.3.6多总体贝叶斯判别函数98

6.4Fisher判别100

6.4.1Fisher判别的基本思想100

6.4.2Fisher判别的优化目标100

6.4.3多分类问题101

6.4.4Fisher判别的分析步骤102

6.4.5案例分析103

本章小结104

习题6104

参考文献105

7支持向量机107

7.1线性可分支持向量机107

7.1.1线性可分的概念107

7.1.2间隔最大化108

7.1.3支持向量机求解109

7.2软间隔支持向量机111

7.3非线性支持向量机112

7.4支持向量回归114

7.5支持向量机实例116

7.5.1线性可分支持向量机实例116

7.5.2非线性支持向量机实例117

本章小结118

习题7118

参考文献119

8典型相关分析120

8.1基本概念120

8.1.1CCA的历史及用途120

8.1.2CCA的思想121

8.1.3CCA的扩展方法122

8.2典型相关分析算法介绍122