机器学习 公式推导与代码实现

图书标准信息

• 作者 鲁伟
• 出版社 人民邮电出版社
• 出版时间 2022-01
• 版次 1
• ISBN 9787115579522
• 定价 99.80元
• 装帧 其他
• 开本 其他
• 纸张 胶版纸
• 页数 306页
• 字数 447千字

【内容简介】

作为一门应用型学科，机器学习植根于数学理论，落地于代码实现。这就意味着，掌握公式推导和代码编写，方能更加深入地理解机器学习算法的内在逻辑和运行机制。本书在对全部机器学习算法进行分类梳理的基础之上，分别对监督学习单模型、监督学习集成模型、无监督学习模型、概率模型四个大类共26个经典算法进行了细致的公式推导和代码实现，旨在帮助机器学习学习者和研究者完整地掌握算法细节、实现方法以及内在逻辑。

【作者简介】

鲁伟 贝叶斯统计方向硕士毕业，深度学习算法工程师，主要从事医疗数据分析、医学图像处理和深度学习应用相关研究与工作。著有《深度学习笔记》一书，也是“机器学习实验室”的主理人。

【目录】

序

前言

第 1章 机器学习预备知识 2

1.1 引言 2

1.2 关键术语与任务类型 2

1.3 机器学习三要素 3

1.4 机器学习核心 4

1.5 机器学习流程 5

1.6 NumPy必学必会 7

1.6.1 创建数组 7

1.6.2 数组的索引与切片 9

1.6.3 数组的基础运算 10

1.6.4 数组维度变换 11

1.6.5 数组合并与切分 12

1.7 sklearn简介 13

1.8章节安排 14

1.9 小结 16

第 2章 线性回归 18

2.1 杭州的二手房房价 18

2.2 线性回归的原理推导 19

2.3 线性回归的代码实现 22

2.3.1 编写思路 22

2.3.2 基于NumPy的代码实现 23

2.3.3 基于sklearn的模型实现 28

2.4 小结 29

第3章 逻辑回归 30

3.1 App开屏广告 30

3.2 逻辑回归的原理推导 31

3.3 逻辑回归的代码实现 33

3.3.1 编写思路 33

3.3.2 基于NumPy的逻辑回归实现 34

3.3.3 基于sklearn的逻辑回归实现 41

3.4 小结 41

第4章 回归模型拓展 42

4.1 回到杭州二手房房价 42

4.2 LASSO回归的原理推导 42

4.3 LASSO回归的代码实现 44

4.3.1 编写思路 44

4.3.2 基于NumPy的LASSO回归实现 45

4.3.3 基于sklearn的LASSO回归实现 49

4.4 Ridge回归的原理推导 49

4.5 Ridge回归的代码实现 50

4.6 小结 54

第5章 线性判别分析 55

5.1 LDA基本思想 55

5.2 LDA数学推导 56

5.3 LDA算法实现 57

5.3.1 基于NumPy的LDA算法实现 57

5.3.2 基于sklearn的LDA算法实现 60

5.4 小结 61

第6章 k近邻算法 62

6.1 “猜你喜欢”的推荐逻辑 62

6.2 距离度量方式 63

6.3 k 近邻算法的基本原理 64

6.4 k 近邻算法的代码实现 64

6.4.1 编写思路 64

6.4.2 基于NumPy的k近邻算法实现 65

6.4.3 基于sklearn的k近邻算法实现 71

6.5 小结 71

第7章 决策树 72

7.1 “今天是否要打高尔夫” 72

7.2 决策树 73

7.3 特征选择：从信息增益到基尼指数 75

7.3.1 什么是特征选择 75

7.3.2 信息增益 75

7.3.3 信息增益比 78

7.3.4 基尼指数 79

7.4 决策树模型：从ID3到CART 81

7.4.1 ID3 81

7.4.2 C4.5 85

7.4.3 CART分类树 86

7.4.4 CART回归树 86

7.4.5 CART算法实现 88

7.5 决策树剪枝 95

7.6 小结 96

第8章 神经网络 97

8.1 无处不在的图像识别 97

8.2 从感知机说起 98

8.2.1 感知机推导 98

8.2.2 基于NumPy的感知机实现 100

8.3 从单层到多层 103

8.3.1 神经网络与反向传播 103

8.3.2 基于NumPy的神经网络搭建 105

8.4 神经网络的广阔天地 114

8.5 小结 114

第9章 支持向量机 115

9.1 重新从感知机出发 115

9.2 线性可分支持向量机 116

9.2.1 线性可分支持向量机的原理推导 116

9.2.2 线性可分支持向量机的算法实现 120

9.3 近似线性可分支持向量机 125

9.3.1 近似线性可分支持向量机的原理推导 125

9.3.2 近似线性可分支持向量机的算法实现 128

9.4 线性不可分支持向量机 132

9.4.1 线性不可分与核技巧 132

9.4.2 SMO算法 135

9.4.3 线性不可分支持向量机的算法实现 137

9.5 小结 142

第 10章 AdaBoost 144

10.1 什么是Boosting 144

10.2 AdaBoost算法的原理推导 144

10.2.1 AdaBoost基本原理 144

10.2.2 AdaBoost与前向分步算法 146

10.3 AdaBoost算法实现 147

10.3.1 基于NumPy的AdaBoost算法实现 147

10.3.2 基于sklearn的AdaBoost算法实现 153

10.4 小结 153

第 11章 GBDT 154

11.1 从提升树到梯度提升树 154

11.2 GBDT算法的原理推导 154

11.3 GBDT算法实现 157

11.3.1 从零开始实现一个GBDT算法系统 157

11.3.2 基于sklearn的GBDT实现 161

11.4 小结 162

第 12章 XGBoost 163

12.1 XGBoost：极度梯度提升树 163

12.2 XGBoost算法的原理推导 164

12.3 XGBoost算法实现 168

12.3.1 XGBoost实现：基于GBDT的改进 168

12.3.2 原生库XGBoost示例 172

12.4 小结 174

第 13章 LightGBM 175

13.1 XGBoost可优化的地方 175

13.2 LightGBM基本原理 175

13.2.1 直方图算法 175

13.2.2 单边梯度抽样 176

13.2.3 互斥特征捆绑算法 177

13.2.4 leaf-wise生长策略 178

13.3 LightGBM算法实现 179

13.4 小结 181

第 14章 CatBoost 182

14.1 机器学习中类别特征的处理方法 182

14.2 CatBoost理论基础 183

14.2.1 目标变量统计 183

14.2.2 特征组合 184

14.2.3 排序提升算法 184

14.3 CatBoost算法实现 186

14.4 小结 188

第 15章 随机森林 189

15.1 Bagging：另一种集成学习框架 189

15.2 随机森林的基本原理 190

15.3 随机森林的算法实现 191

15.3.1 基于NumPy的随机森林算法实现 191

15.3.2 基于sklearn的随机森林算法实现 195

15.4 小结 196

第 16章 集成学习：对比与调参 197

16.1 三大Boosting算法对比 197

16.2 常用的超参数调优方法 201

16.2.1 网格搜索法 201

16.2.2 随机搜索 202

16.2.3 贝叶斯调参 203

16.3 小结 205

第 17章 聚类分析与k均值聚类算法 208

17.1 距离度量和相似度度量方式 208

17.2 聚类算法一览 209

17.3 k均值聚类算法的原理推导 211

17.4 k均值聚类算法实现 212

17.4.1 基于NumPy的k均值聚类算法实现 212

17.4.2 基于sklearn的k均值聚类算法实现 217

17.5 小结 217

第 18章 主成分分析 218

18.1 PCA算法的原理推导 218

18.2 PCA算法实现 220

18.2.1 基于NumPy的PCA算法实现 220

18.2.2 基于sklearn的PCA算法实现 222

18.3 小结 223

第 19章 奇异值分解 224

19.1 特征向量与矩阵分解 224

19.2 SVD算法的原理推导 225

19.3 SVD算法实现与应用 226

19.3.1 SVD算法实现 226

19.3.2 基于SVD的图像去噪 227

19.4 小结 231

第 20章 信息熵模型 234

20.1 信息熵原理 234

20.2 信息熵模型的推导 234

20.3 小结 237

第 21章 贝叶斯概率模型 238

21.1 贝叶斯定理简介 238

21.2 朴素贝叶斯 239

21.2.1 朴素贝叶斯的原理推导 239

21.2.2 基于NumPy的朴素贝叶斯实现 240

21.2.3 基于sklearn的朴素贝叶斯实现 243

21.3 贝叶斯网络 244

21.3.1 贝叶斯网络的原理推导 244

21.3.2 借助于pgmpy的贝叶斯网络实现 246

21.4 小结 249

第 22章 EM算法 250

22.1 极大似然估计 250

22.2 EM算法的原理推导 251

22.3 EM算法实现 253

22.4 小结 255

第 23章 隐马尔可夫模型 256

23.1 什么是概率图模型 256

23.2 HMM的定义与相关概念 257

23.3 HMM的三个经典问题 262

23.3.1 概率计算问题与前向/后向算法 262

23.3.2 参数估计问题与Baum-Welch算法 266

23.3.3 序列标注问题与维特比算法 269

23.4 小结 271

第 24章 条件随机场 272

24.1 从生活画像到词性标注问题 272

24.2 概率无向图 273

24.3 CRF的定义与形式 275

24.4 CRF的三大问题 277

24.4.1 CRF的概率计算问题 277

24.4.2 CRF的参数估计问题 278

24.4.3 CRF的序列标注问题 279

24.4.4 基于sklearn_crfsuite的CRF代码实现 281

24.5 小结 281

第 25章 马尔可夫链蒙特卡洛方法 283

25.1 前置知识与相关概念 283

25.1.1 马尔可夫链 283

25.1.2 蒙特卡洛算法 285

25.2 MCMC的原理推导 287

25.2.1 MCMC采样 287

25.2.2 Metropolis-Hasting采样算法 289

25.2.3 Gibbs采样算法 291

25.3 MCMC与贝叶斯推断 296

25.4 小结 296

第 26章 机器学习模型总结 298

26.1 机器学习模型的归纳与分类 298

26.1.1 单模型与集成模型 300

26.1.2 监督模型与无监督模型 301

26.1.3 生成式模型与判别式模型 301

26.1.4 概率模型与非概率模型 302

26.2 本书的不足和未来展望 303

参考文献 305