统计学习方法（第2版）

图书标准信息

• 作者 李航
• 出版社 清华大学出版社
• 出版时间 2019-05
• 版次 2
• ISBN 9787302517276
• 定价 98.00元
• 装帧 平装
• 开本 其他
• 页数 464页
• 字数 593千字

【内容简介】

统计学习方法即机器学习方法，是计算机及其应用领域的一门重要学科。本书分为监督学 习和无监督学习两篇，全面系统地介绍了统计学习的主要方法。包括感知机、k 近邻法、朴素贝叶斯法、决策树、逻辑斯谛回归与最大熵模型、支持向量机、提升方法、EM 算法、隐马尔可夫模型和条件随机场，以及聚类方法、奇异值分解、主成分分析、潜在语义分析、概率潜在语义分析、马尔可夫链蒙特卡罗法、潜在狄利克雷分配和 PageRank 算法等。除有关统计学习、监督学习和无监督学习的概论和总结的四章外，每章介绍一种方法。叙述力求从具体问题或实例入手， 由浅入深，阐明思路，给出必要的数学推导，便于读者掌握统计学习方法的实质，学会运用。 为满足读者进一步学习的需要，书中还介绍了一些相关研究，给出了少量习题，列出了主要参考文献。 本书是统计机器学习及相关课程的教学参考书，适用于高等院校文本数据挖掘、信息检索及自然语言处理等专业的大学生、研究生，也可供从事计算机应用相关专业的研发人员参考。

【目录】

章统计学及监督学概论.3
1.1统计学.3
1.2统计学的分类.5
1.2.1基本分类.6
1.2.2按模型分类11
1.2.3按算法分类13
1.2.4按分类13
1.3统计学方法三要素15
1.3.1模型15
1.3.2策略16
1.3.3算法19
1.4模型评估与模型选择19
1.4.1训练误差与测试误差19
1.4.2过拟合与模型选择20
1.5正则化与交验证23
1.5.1正则化23
1.5.2交验证.24
1.6泛化能力.24
1.6.1泛化误差.24
1.6.2泛化误差上界25
1.7生成模型与判别模型27
1.8监督学应用28
1.8.1分类问题.28
1.8.2标注问题.30
1.8.3回归问题.32
本章概要33
继续阅读33
题33
参文献34
第2章感知机35
2.1感知机模型35
2.2感知机学策略.36
2.2.1数据集的线可分36
2.2.2感知机学策略.37
2.3感知机学算法.38
2.3.1感知机学算法的原始形式38
2.3.2算法的收敛41
2.3.3感知机学算法的对偶形式43
本章概要46
继续阅读46
题46
参文献47
第3章k近邻法49
3.1k近邻算法49
3.2k近邻模型50
3.2.1模型50
3.2.2距离度量.50
3.2.3k值的选择52
3.2.4分类决策规则52
3.3k近邻法的实现：kd树.53
3.3.1构造kd树.53
3.3.2搜d树.55
本章概要57
继续阅读57
题58
参文献58
第4章朴素贝叶斯法59
4.1朴素贝叶斯法的学与分类59
4.1.1基本方法.59
4.1.2后验概率优选化的含义.61
4.2朴素贝叶斯法的参数估计62
4.2.1极大似然估计62
4.2.2学与分类算法.62
4.2.3贝叶斯估计64
本章概要65
继续阅读66
题66
参文献66
第5章决策树67
5.1决策树模型与学67
5.1.1决策树模型67
5.1.2决策树与if-then规则.68
5.1.3决策树与条件概率分布.68
5.1.4决策树学69
5.2特征选择.71
5.2.1特征选择问题71
5.2.2信息增益.72
5.2.3信息增益比76
5.3决策树的生成76
5.3.1id3算法.76
5.3.2c4.5的生成算法78
5.4决策树的剪枝78
5.5cart算法.80
5.5.1cart生成.81
5.5.2cart剪枝.85
本章概要87
继续阅读88
题89
参文献89
第6章逻辑斯谛回归与优选熵模型91
6.1逻辑斯谛回归模型91
6.1.1逻辑斯谛分布91
6.1.2二项逻辑斯谛回归模型.92
6.1.3模型参数估计93
6.1.4多项逻辑斯谛回归94
6.2优选熵模型94
6.2.1优选熵94
6.2.2优选熵模型的定义96
6.2.3优选熵模型的学98
6.2.4极大似然估计.102
6.3模型学的很优化算法103
6.3.1改进的迭代尺度法.103
6.3.2拟牛顿法107
本章概要.108
继续阅读.109
题.109
参文献.109
第7章支持向量机111
7.1线可分支持向量机与硬间隔优选化112
7.1.1线可分支持向量机.112
7.1.2函数间隔和几何间隔.113
7.1.3间隔优选化.115
7.1.4学的对偶算法120
7.2线支持向量机与软间隔优选化.125
7.2.1线支持向量机125
7.2.2学的对偶算法127
7.2.3支持向量130
7.2.4合页损失函数.131
7.3非线支持向量机与核函数.133
7.3.1核.133
7.3.2正定核.136
7.3.3常用核函数.140
7.3.4非线支持向量分类机141
7.4序列小很优化算法.142
7.4.1两个变量二次规划的求解方法143
7.4.2变量的选择方法147
7.4.3smo算法149
本章概要.149
继续阅读.152
题.152
参文献.153
第8章提升方法155
8.1提升方法adaboost算法.155
8.1.1提升方法的基本思路.155
8.1.2adaboost算法.156
8.1.3adaboost的例子158
8.2adaboost算法的训练误差分析160
8.3adaboost算法的解释.162
8.3.1前向分步算法.162
8.3.2前向分步算法与adaboost.164
8.4提升树.166
8.4.1提升树模型.166
8.4.2提升树算法.166
8.4.3梯度提升170
本章概要.172
继续阅读.172
题.173
参文献.173
第9章em算法及其推广.175
9.1em算法的引入175
9.1.1em算法175
9.1.2em算法的导出179
9.1.3em算法在无监督学中的应用.181
9.2em算法的收敛.181
9.3em算法在高斯混合模型学中的应用.183
9.3.1高斯混合模型.183
9.3.2高斯混合模型参数估计的em算法.183
9.4em算法的推广187
9.4.1f函数的极大-极大算法.187
9.4.2gem算法189
本章概要.191
继续阅读.192
题.192
参文献.192
0章隐马尔可夫模型193
10.1隐马尔可夫模型的基本概念193
10.1.1隐马尔可夫模型的定义193
10.1.2观测序列的生成过程196
10.1.3隐马尔可夫模型的3个基本问题.196
10.2概率计算算法197
10.2.1直接计算法.197
10.2.2前向算法198
10.2.3后向算法201
10.2.4一些概率与期望值的计算.202
10.3学算法203
10.3.1监督学方法203
10.3.2baum-welch算法.204
10.3.3baum-welch模型参数估计公式.206
10.4预测算法207
10.4.1近似算法208
10.4.2维特比算法.208
本章概要.212
继续阅读.212
题.213
参文献.213
1章条件场215
11.1概率无向图模型215
11.1.1模型定义215
11.1.2概率无向图模型的因子分解217
11.2条件场的定义与形式.218
11.2.1条件场的定义.218
11.2.2条件场的参数化形式.220
11.2.3条件场的简化形式221
11.2.4条件场的矩阵形式223
11.3条件场的概率计算问题224
11.3.1前向-后向算法.225
11.3.2概率计算225
11.3.3期望值的计算226
11.4条件场的学算法227
11.4.1改进的迭代尺度法.227
11.4.2拟牛顿法230
11.5条件场的预测算法231
本章概要.235
继续阅读.235
题.236
参文献.236
2章监督学方法结237
第2篇无监督学
3章无监督学概论245
13.1无监督学基本245
13.2基本问题246
13.3机器学三要素249
13.4无监督学方法249
本章概要.253
继续阅读.254
参文献.254
4章聚类方法255
14.1聚类的基本概念255
14.1.1相似度或距离255
14.1.2类或簇258
14.1.3类与类之间的距离.260
14.2层次聚类261
14.3k均值聚类.263
14.3.1模型.263
14.3.2策略.263
14.3.3算法.264
14.3.4算法特266
本章概要.267
继续阅读.268
题.269
参文献.269
5章奇异值分解271
15.1奇异值分解的定义与质.271
15.1.1定义与定理.271
15.1.2紧奇异值分解与截断奇异值分解.276
15.1.3几何解释279
15.1.4主要质280
15.2奇异值分解的计算.282
15.3奇异值分解与矩阵近似286
15.3.1弗罗贝尼乌斯范数.286
15.3.2矩阵的很优近似287
15.3.3矩阵的外积展开式.290
本章概要.292
继续阅读.294
题.294
参文献.295
6章主成分分析297
16.1体主成分分析297
16.1.1基本想法297
16.1.2定义和导出.299
16.1.3主要质301
16.1.4主成分的个数306
16.1.5规范化变量的体主成分.309
16.2样本主成分分析310
16.2.1样本主成分的定义和质.310
16.2.2相关矩阵的特征值分解算法312
16.2.3数据矩阵的奇异值分解算法315
本章概要.317
继续阅读.319
题.320
参文献.320
7章潜在语义分析.321
17.1单词向量空间与话题向量空间321
17.1.1单词向量空间321
17.1.2话题向量空间324
17.2潜在语义分析算法.327
17.2.1矩阵奇异值分解算法327
17.2.2例子.329
17.3非负矩阵分解算法.331
17.3.1非负矩阵分解331
17.3.2潜在语义分析模型.332
17.3.3非负矩阵分解的形式化332
17.3.4算法.333
本章概要.335
继续阅读.337
题.337
参文献.337
8章概率潜在语义分析339
18.1概率潜在语义分析模型339
18.1.1基本想法339
18.1.2生成模型340
18.1.3共现模型341
18.1.4模型质342
18.2概率潜在语义分析的算法.345
本章概要.347
继续阅读.348
题.348
参文献.349
9章马尔可夫链蒙特卡罗法351
19.1蒙特卡罗法.351
19.1.1抽样351
19.1.2数学期望估计353
19.1.3积分计算353
19.2马尔可夫链.355
19.2.1基本定义355
19.2.2离散马尔可夫链356
19.2.3连续马尔可夫链362
19.2.4马尔可夫链的质.363
19.3马尔可夫链蒙特卡罗法367
19.3.1基本想法367
19.3.2基本步骤369
19.3.3马尔可夫链蒙特卡罗法与统计学369
19.4metropolis-hastings算法.370
19.4.1基本370
19.4.2metropolis-hastings算法.373
19.4.3单分量metropolis-hastings算法374
19.5吉布斯抽样.375
19.5.1基本376
19.5.2吉布斯抽样算法377
19.5.3抽样计算378
本章概要.379
继续阅读.381
题.381
参文献.383
第20章潜在狄利克雷分配385
20.1狄利克雷分布385
20.1.1分布定义385
20.1.2共轭先验389
20.2潜在狄利克雷分配模型390
20.2.1基本想法390
20.2.2模型定义391
20.2.3概率图模型.393
20.2.4变量序列的可交换.394
20.2.5概率公式395
20.3lda的吉布斯抽样算法.396
20.3.1基本想法396
20.3.2算法的主要部分397
20.3.3算法的后处理399
20.3.4算法.399
20.4lda的变分em算法401
20.4.1变分推理401
20.4.2变分em算法.403
20.4.3算法推导404
20.4.4算法结411
本章概要.411
继续阅读.413
题.413
参文献.413
第21章pagerank算法415
21.1pagerank的定义415
21.1.1基本想法415
21.1.2有向图和游走模型416
21.1.3pagerank的基本定义.418
21.1.4pagerank的一般定义.421
21.2pagerank的计算423
21.2.1迭代算法423
21.2.2幂法.425
21.2.3代数算法430
本章概要.430
继续阅读.432
题.432
参文献.432
第22章无监督学方法结.435
22.1无监督学方法的关系和特点435
22.1.1各种方法之间的关系435
22.1.2无监督学方法436
22.1.3基础机器学方法.437
22.2话题模型之间的关系和特点437
参文献.438
附录a梯度下降法439
附录b牛顿法和拟牛顿法.441
附录c拉格朗对偶447
附录d矩阵的基本子空间451
附录ekl散度的定义和狄利克雷分布的质.455
索引.457