Python数据分析实战:思路详解与案例实践

第1章　数据分析的统计学基础 1 

1.1　统计学中的一些概念 2 

1.1.1　总体与样本 2 

1.1.2　参数与统计量 2 

1.1.3　变量的度量类型 3 

1.1.4　变量的分布类型 3 

1.1.5　正态分布 4 

1.1.6　Z分数 4 

1.2　假设检验基础 6 

1.2.1　假设检验的基本要点 7 

1.2.2　大数定律和中心极限定理 9 

1.3　Z检验 10 

1.3.1　基本原理 10 

1.3.2　Python实现Z检验 11 

1.4　t检验 13 

1.4.1　单样本t检验 13 

1.4.2　双样本t检验 14 

1.5　方差分析 17 

1.5.1　基本原理 18 

1.5.2　Python 实现方差分析 20 

1.6　卡方检验 23 

1.7　相关分析（相关系数与热力图） 24 

1.7.1　Pearson相关系数 25 

1.7.2　热力图 26 

1.7.3　相关系数的显著性检验 27 

第2章　多元线性回归实现房价预测 29 

2.1　线性回归 30 

2.1.1　简单线性回归原理 30 

2.1.2　多元线性回归 31 

2.2　Python实现多元线性回归 33 

2.3　模型分析与评估 36 

2.3.1　模型的评估指标（R方与调整R方） 36 

2.3.2　回归系数的显著性检验 37 

2.3.3　虚拟变量的设置 38 

2.3.4　多重共线性的诊断 40 

2.3.5　残差分析 43 

2.3.6　线性回归模型评估小结 48 

第3章　逻辑回归预测电信客户流失情况 49 

3.1　逻辑回归 50 

3.1.1　从相关性分析到逻辑回归 51 

3.1.2　逻辑回归公式原理 53 

3.2　Python中实现逻辑回归 57 

3.3　分类模型的评估 60 

3.3.1　模型预测 60 

3.3.2　一致对、不一致对与相等对 61 

3.3.3　混淆矩阵 63 

3.3.4　ROC曲线与AUC值 67 

第4章　决策树实现信贷违约预测 70 

4.1　决策树的原理 71 

4.1.1　节点、分支与深度 71 

4.1.2　决策树的分类思想 72 

4.1.3　信息熵、条件熵与信息增益 74 

4.2　决策树的算法 76 

4.2.1　ID3算法与Python实现 77 

4.2.2　可视化决策树（传统和交互） 77 

4.2.3　C4.5算法与Python实现 80 

4.2.4　CART算法建树原理 84 

4.3　决策树实现信贷违约预测的具体代码 86 

4.3.1　网格搜索调优 89 

4.3.2　优化决策边界 91 

第5章　随机森林预测宽带订阅用户离网 94 

5.1　集成学习简介 95 

5.1.1　概述：Bagging与Boosting 96 

5.1.2　Bagging原理与Python实现 97 

5.2　随机森林的原理 100 

5.3　随机森林预测宽带订阅用户离网的具体代码 103 

第6章　深入浅出层次聚类 106 

6.1　聚类算法概述 107 

6.1.1　聚类算法的应用场景 107 

6.1.2　聚类算法的变量特点 107 

6.1.3　几种常用的聚类算法 108 

6.2　聚类算法的分类逻辑 108 

6.2.1　欧氏距离 108 

6.2.2　余弦相似度 109 

6.2.3　闵氏距离 110 

6.3　层次聚类 110 

6.3.1　层次树怎么看？ 110 

6.3.2　点与点、簇与簇之间的距离 113 

6.3.3　Python实现层次聚类 117 

6.4　聚类模型的评估 120 

6.4.1　轮廓系数 120 

6.4.2　平方根标准误差 121 

6.4.3　R方 121 

6.4.4　评估指标的选择 121 

6.5　Python实现聚类算法评估 121 

6.6　结果分析 123 

第7章　K-Means聚类实现客户分群 124 

7.1　K-Means聚类原理 125 

7.2　Python实现K-Means聚类 126 

7.3　数据转换方法 127 

7.4　模型评估 131 

7.5　结果分析 132 

第8章　基于不平衡分类算法的反欺诈模型 134 

8.1　不平衡分类背景 135 

8.2　欠采样法 136 

8.2.1　随机欠采样法 137 

8.2.2　Tomek Link法 137 

8.3　过采样法 138 

8.3.1　随机过采样法 138 

8.3.2　SMOTE法 138 

8.4　综合采样法 139 

8.5　Python代码实战 140 

8.5.1　数据探索 140 

8.5.2　过采样处理 141 

8.5.3　决策树建模 142 

8.5.4　结果分析与优化 143 

第9章　主成分分析实现客户信贷评级 145 

9.1　PCA中的信息压缩 146 

9.2　主成分分析原理 147 

9.2.1　信息压缩的过程 147 

9.2.2　主成分的含义 149 

9.3　Python实现主成分分析 150 

第10章　Apriori算法实现智能推荐 155 

10.1　常见的推荐算法 156 

10.2　购物篮分析简介 156 

10.3　关联规则 158 

10.3.1　关联三度 158 

10.3.2　Apriori算法原理 160 

10.4　Python实现关联规则 160 

10.4.1　数据探索 160 

10.4.2　Apriori实现关联规则 162 

10.4.3　筛选互补品与互斥品 163 

10.5　根据关联规则结果推荐商品 164 

10.5.1　以获得最高的营销响应率为目标 164 

10.5.2　以最大化总体销售额为目标 165 

10.5.3　用户并未产生消费，为其推荐某样商品 166