机器学习算法导论
本店图书 都是正版图书 可开电子发票 需要发票的联系客服！
￥ 44.97 7.5折 ￥ 59.9 全新
库存10件
四川成都
认证卖家担保交易快速发货售后保障
作者王磊、王晓东
出版社清华大学出版社
ISBN9787302524564
出版时间2019-06
装帧平装
开本16开
定价59.9元
货号27903717
上书时间2024-12-28
商品详情
- 品相描述：全新
- 商品描述
-
前言
前言
人类社会的发展经历了农耕社会、工业社会、信息社会，现在进入智能社会。在这漫长的发展进程中，人类不断从学习中积累知识，为人类文明打下了坚实的基础。学习是人与生俱来的重要的一项能力，是人类智能（human intelligence）形成的必要条件。从20世纪90年代开始，互联网从根本上改变了人们的生活。进入21世纪后，人工智能以润物无声、潜移默化的方式深刻地改变着整个世界。与新一代人工智能相关的学科发展和技术创新正在引发链式突破，推动经济社会各领域从数字化、网络化向智能化方向加速跃升。发展智能科学与技术已经提升到国家战略高度。在这个迅猛发展的学科中，机器学习是发展快的分支之一。图灵奖得主John E. Hopcroft教授认为，计算机科学发展到今天，机器学习是核心，它是使计算机具有智能的根本途径。机器学习的理论和实践涉及概率论、统计学、逼近论、凸分析、化理论、算法复杂度理论等多领域的交叉学科。除了有其自身的学科体系外，机器学习还有两个重要的辐射功能： 一是为应用学科提供解决问题的方法与途径；二是为一些传统学科，如统计学、理论计算机科学、运筹优化等，找到新的研究问题。因此，大多数世界著名大学的计算机学科把机器学习列为人工智能的核心方向。
作为一门应用学科，机器学习的应用涵盖自然语言处理、图像识别以及一系列预测与决策问题。特别是其中的深度学习理论更是诸多高精尖人工智能技术的核心，它是AlphaGo计算机智能围棋博弈系统、无人驾驶汽车和工业界人工智能助理等新兴技术的灵魂。因此，掌握机器学习的理论与实践技术是学习现代人工智能科学重要的一步。本书将介绍一系列经典的机器学习算法，既对这些算法进行理论分析，也结合具体应用介绍它们在Python和Tensorflow中的实现及使用方法。本书的第1章首先简要介绍机器学习及其算法；第 2～9章主要介绍监督式学习算法。其中包括监督式学习算法基础、线性回归算法、机器学习中的搜索算法、Logistic回归算法、支持向量机算法、决策树、神经网络和深度学习。第10、11章着重介绍无监督学习算法，其中包括降维算法和聚类算法。第12章讲述强化学习的相关知识。除前两章外，各章内容均相对独立，读者可以根据自己的兴趣和需要选择阅读。根据课时安排情况，一个学期的本科生课程可以讲授除了第9章和第12章外的全部内容。研究生课程则可以讲授全部内容。
本书在内容的组织上力求从理论、抽象和设计3方面阐述机器学习理论基础、算法实现和具体应用技巧。在讲述机器学习算法核心知识的同时，着力培养读者的计算思维能力。计算思维是人类科学思维中以抽象化和自动化为特征，或者说以形式化、程序化和机械化为特征的思维形式。读者通过对本书的学习，应该能够从机器学习的理论基础和实际应用两个层面全面掌握其核心技术，同时计算思维能力得到显著提高，对于整个课程讲述的机器学习算法核心知识能够做到知其然且知其所以然。在面临现实世界的真实挑战时，能够以算法的观点思考问题，应用数学知识设计高效、安全的解决方案，采用抽象和分解方法迎战浩大复杂的任务或设计巨大复杂的智能系统，从中体会计算机科学和人工智能技术带来的快乐和力量。书中除第1章外，每章都安排了与讲授内容密切相关的习题，这些习题分为两类： 一类是理论分析题，其目的是帮助读者巩固复习本章内容，或引导读者扩展与本章内容相关的知识；另一类是算法实现题，其目的是培养读者的算法实践能力，通过这类习题，可以检验读者对本章主要内容的理解程度和对相关算法的具体应用能力。
作者由衷感谢汤芃、田俊、汤秉诚、罗锑等专家、同行和朋友对本书的巨大贡献。没有他们一如既往的无私帮助和支持，本书是不可能完成的。作者还要感谢本书的责任编辑张瑞庆编审，以及清华大学出版社负责本书编辑出版工作的全体人员，他们为本书的出版付出了大量辛勤劳动，他们以认真细致、一丝不苟的工作保证了本书的出版质量。本书的全部章节由王磊博士完成。王晓东教授对本书各章节的文字做了修改和润色。汤芃博士和田俊教授在百忙中认真审阅了全书，提出了许多宝贵的改进意见。在此，谨向每一位关心和支持本书编写工作的人士表示衷心的谢意。
读者可从GitHub网站的本书页面https://github.com/wanglei18/machine_learning下载本书的源代码、测试数据以及书中插图和源代码的彩色图片。
作者热忱欢迎同行专家和读者对本书提出宝贵意见，使本书内容在使用过程中不断改进，日臻完善。
作者
2019年5月
导语摘要
机器学习是计算机智能围棋博弈系统、无人驾驶汽车和工业界人工智能助理等新兴技术的灵魂，特别是深度学习理论更是诸多高精尖人工智能技术的核心。掌握机器学习理论与实践技术是学习现代人工智能科学*重要的一步。本书既讲述机器学习算法的理论分析，也结合具体应用介绍它们在Python中的实现及使用方法。本书的第2到第9章主要介绍监督式学习算法。其中包括：监督式学习算法基础、线性回归算法、机器学习中的搜索算法、Logistic回归算法、支持向量机算法、决策树、神经网络和深度学习。随后，在第10与11这两章，着重介绍无监督学习算法。其中包括：降维算法和聚类算法。第12章中讲述强化学习的相关知识。在本书的附录中还提供了学习本书的数学基础知识和Python语言与机器学习工具库基本知识。与其他机器学习类书籍相比，本书同时包含机器学习的算法理论和算法实践。希望通过课程的学习,读者能够从机器学习的理论基础和实际应用两个层面全面掌握其核心技术，同时计算思维能力得到显著提高，对于整个课程讲述的机器学习算法核心知识，能够知其然且知其所以然。同时着力培养读者的计算思维能力，使他们在面临实际应用的挑战时，能够以算法的观点思考问题，并灵活应用数学概念来设计出高效安全的解决方案。
作者简介
王磊：2006年本科毕业于清华大学，2011年获得美国佐治亚理工学院博士学位。现就职于美国Facebook公司，担任主任工程经理。主要研究方向是：人工智能算法与架构、博弈论与优化算法理论。
目录
目录
第1章机器学习算法概述1
1.1什么是机器学习2
1.2机器学习的形式分类4
1.2.1监督式学习4
1.2.2无监督学习7
1.2.3强化学习8
1.3机器学习算法综览9
1.4有关术语的约定15
小结16
第2章监督式学习算法基础17
2.1监督式学习基本概念17
2.2经验损失小化架构20
2.3监督式学习与经验损失小化实例23
2.4正则化算法29
小结34
习题35
第3章线性回归算法38
3.1线性回归基本概念38
3.2线性回归优化算法43
3.3多项式回归49
3.4线性回归的正则化算法52
3.5线性回归的特征选择算法58
3.5.1逐步回归58
3.5.2分段回归63
小结66
习题66
第4章机器学习中的搜索算法70
4.1梯度下降算法与次梯度下降算法71
4.2随机梯度下降算法77
4.3牛顿迭代算法83
4.4坐标下降算法87
小结91
习题92
第5章Logistic回归算法94
5.1Logistic回归基本概念94
5.2Logistic回归优化算法100
5.3分类问题的度量107
5.3.1准确率107
5.3.2精确率与召回率108
5.3.3ROC曲线及AUC度量112
5.4Softmax回归115
5.4.1Softmax回归基本概念115
5.4.2Softmax回归优化算法116
5.4.3Softmax模型与指数分布族121
小结123
习题123
第6章支持向量机算法126
6.1支持向量机基本概念126
6.1.1支持向量机思想起源127
6.1.2支持向量机的凸优化描述129
6.1.3支持向量机的对偶132
6.2支持向量机优化算法133
6.3核方法140
6.4软间隔支持向量机1476.4.1软间隔支持向量机基本概念147
6.4.2软间隔支持向量机优化算法149
6.4.3Hinge损失与软间隔支持向量机152
小结153
习题154
第7章决策树158
7.1决策树的基本概念158
7.2决策树优化算法166
7.2.1决策树回归问题的CART算法166
7.2.2决策树分类问题的CART算法168
7.3CART算法实现及应用171
7.3.1决策树CART算法基类171
7.3.2决策树回归问题的CART算法的实现及应用175
7.3.3决策树分类问题的CART算法的实现及应用178
7.4集成学习算法180
7.4.1随机森林分类算法181
7.4.2随机森林回归算法187
7.5梯度提升决策树回归算法189
小结192
习题193
第8章神经网络197
8.1神经网络基本概念197
8.1.1神经网络模型197
8.1.2神经网络算法描述202
8.2神经网络优化算法204
8.3神经网络算法实现208
8.4神经网络的TensorFlow实现216
小结218
习题218
第9章深度学习222
9.1卷积神经网络2229.1.1滤镜224
9.1.2卷积层226
9.1.3卷积神经网络的实现230
9.2循环神经网络237
9.2.1循环神经网络基本概念238
9.2.2循环神经网络的实现241
9.2.3时间反向传播算法245
9.2.4长短时记忆基本概念246
9.2.5长短时记忆的实现249
小结250
习题251
第10章降维算法256
10.1主成分分析法256
10.1.1算法思想256
10.1.2算法实现261
10.1.3奇异值分解263
10.2主成分分析的核方法265
10.2.1主成分分析法的等价形式265
10.2.2核方法算法描述266
10.2.3核方法算法实现268
10.3线性判别分析法271
10.3.1算法思想271
10.3.2算法实现273
10.4流形降维算法275
10.4.1局部线性嵌入法276
10.4.2多维缩放法280
10.5自动编码器284
小结287
习题288
第11章聚类算法293
11.1k均值算法293
11.2合并聚类算法29811.3DBSCAN算法304
小结309
习题310
第12章强化学习313
12.1强化学习基本概念314
12.1.1马尔可夫环境模型314
12.1.2策略316
12.2动态规划型算法318
12.2.1值迭代算法319
12.2.2策略迭代算法323
12.3时序差分型算法327
12.4深度Q神经网络335
12.5策略梯度型算法341
12.5.1REINFORCE算法342
12.5.2ActorCritic算法345
小结348
习题349
附录A机器学习数学基础352
A.1线性代数352
A.2微积分357
A.3优化理论361
A.3.1凸函数的定义及判定361
A.3.2无约束凸优化问题362
A.3.3带约束凸优化问题364
A.4概率论简介366
附录BPython语言与机器学习工具库370
B.1Python语言基础370
B.2SciPy工具库374
B.2.1NumPy简介374
B.2.2Matplotlib简介378B.2.3Pandas简介379
B.3Sklearn简介380
B.4TensorFlow简介383
附录C本书使用的数据集387
参考文献388
内容摘要
机器学习是计算机智能围棋博弈系统、无人驾驶汽车和工业界人工智能助理等新兴技术的灵魂，特别是深度学习理论更是诸多高精尖人工智能技术的核心。掌握机器学习理论与实践技术是学习现代人工智能科学*重要的一步。
本书既讲述机器学习算法的理论分析，也结合具体应用介绍它们在Python中的实现及使用方法。本书的第2到第9章主要介绍监督式学习算法。其中包括：监督式学习算法基础、线性回归算法、机器学习中的搜索算法、Logistic回归算法、支持向量机算法、决策树、神经网络和深度学习。随后，在第10与11这两章，着重介绍无监督学习算法。其中包括：降维算法和聚类算法。第12章中讲述强化学习的相关知识。在本书的附录中还提供了学习本书的数学基础知识和Python语言与机器学习工具库基本知识。
与其他机器学习类书籍相比，本书同时包含机器学习的算法理论和算法实践。希望通过课程的学习,读者能够从机器学习的理论基础和实际应用两个层面全面掌握其核心技术，同时计算思维能力得到显著提高，对于整个课程讲述的机器学习算法核心知识，能够知其然且知其所以然。同时着力培养读者的计算思维能力，使他们在面临实际应用的挑战时，能够以算法的观点思考问题，并灵活应用数学概念来设计出高效安全的解决方案。
主编推荐
王磊：2006年本科毕业于清华大学，2011年获得美国佐治亚理工学院博士学位。现就职于美国Facebook公司，担任主任工程经理。主要研究方向是：人工智能算法与架构、博弈论与优化算法理论。
精彩内容
第5章Logistic回归算法
回归问题与分类问题是重要的两类监督式学习问题。第3章中的线性回归算法是用于解决回归问题的重要方法，但它并不直接适用于分类问题。本章介绍的Logistic回归算法就是针对分类问题的一个重要算法。
Logistic回归算法是模型假设为 Sigmoid函数的经验损失小化算法。在第4章中介绍了求解经验损失小化问题的优化搜索算法。本章将在此基础上详细介绍Logistic回归算法的相关知识。5.1节对Logistic回归做入门性的介绍，并阐述Logistic回归目标函数与模型假设的统计意义。5.2节介绍Logistic回归优化算法。包括第4章中随机梯度下降算法与牛顿迭代算法在Logistic回归问题中的具体实现。5.3节介绍一般分类问题的度量方法，着重介绍准确率、精确率与召回率这3个机器学习中的重要概念。5.4节介绍Softmax回归算法。它是Logistic回归算法在多元分类问题中的推广。
5.1Logistic回归基本概念
在实际应用中，经常会遇到根据特征对事物进行分类的问题。例如，在第2章中介绍的鸢尾花种类预测问题。这个问题要根据花萼长、花萼宽、花瓣长以及花瓣宽这4个特征，来预测相应的鸢尾花是属于山鸢尾、变色鸢尾或弗吉尼亚鸢尾这3类中的哪一类。可见鸢尾花预测问题是一个分类问题。由于鸢尾花有3个种类，因此这个分类问题是一个三元分类问题。
在分类问题中，每一个样本都有一个标签，用于表示这个样本所属的类别。定义2.2给出了在k元分类问题中标签的一般设定方式。即，每个对象的标签是一个k维向量。如果该对象属于第i类，则标签向量的第i位的值是1，其余位的值是0。例如，在鸢尾花分类问题中，标签是一个三维向量。如果是山鸢尾，则标签为y=(1,0,0)；如果是变色鸢尾，则 y=(0,1,0)，如果是弗吉尼亚鸢尾，则y=(0,0,1)。 在一个k元分类问题中，设Xn为样本空间，Y0,1k为标签空间。对任一样本x∈X，记Dx为x的标签分布。监督式学习的任务是对给定的样本x预测Ey~Dxy。
设y=y1,y2,…,yk，则Ey~Dxy=Ey~Dxy1,Ey~Dxy2,…,Ey~Dxyk。 对期望向量Ey~Dxy中的第i个分量Ey~Dxyi(i=1,2,…,k)，有 Ey~Dxyi=Pryi=0×0 Pryi=1×1=Pryi=1(5.1)因此，Ey~Dxy的第i个分量为对象属于第i个类别的概率。由此可见，分类问题的监督式学习算法的任务是对给定的特征组x预测对象属于每一个类别的概率。
对于二元分类问题，除了定义2.2中给出的标签的设定方式外，还有另外一种简化数学记号的01标签形式，即分别以0和1表示二元分类问题中的两个类别。在本章中，均按此方式给标签赋值。按照这样的标签表示方式，二元分类问题的监督式学习算法的任务是对给定的样本特征组x预测Pr(y=0)与Pr(y=1)。 由于标签y只有0和1两种可能的取值，所以必然有Pry=0 Pr(y=1)=1(5.2)因此，可以进一步简化监督式学习算法的任务为对给定的样本特征组x预测Pr(y=1)。 而Pry=0可以由1－Pry=1得到。
如果将概率看成一个数值属性，则二元分类问题的概率预测就转化成一个回归问题。按此思路，简单的方法是直接采用特征组的线性回归模型来预测概率。但这个方法面临的问题是预测的结果可能会超出区间0,1。由于预测的对象是一个概率，所以0,1以外的预测值都是不符合要求的。
为了能够根据特征组x来预测Pr(y=1)，需要寻找一个连续函数，它既能表达特征组x与概率Pr(y=1)之间的依存关系，又能保证在特征变动时对应的函数值不超出区间0,1。Sigmoid函数就是满足这种要求的函数，其表达式为Sigmoidt=11 e-t,t∈(5.3)显然，当t→-∞时，Sigmoidt→0； 当t→ ∞时，Sigmoidt→1。 即，对任意t∈，Sigmoid函数的取值都不超出区间0,1。函数的图像如图5.1所示。
图5.1Sigmoid函数
用Sigmoid函数描述特征组x与概率Pr(y=1)之间关系的模型就是Logistic模型。
定义5.1（Logistic模型）取定特征组x∈n，称模型hwx=Sigmoid〈w,x〉=11 e-〈w,x〉(5.4)为一个Logistic模型，其中w∈n为模型的参数。
在定义5.1中依然沿用第3章中的记号简化，即，设每个特征组x的首位总是1，这样可以统一表示线性模型中的系数与偏置项。
根据Sigmoid函数的性质可知，式(5.4)中的函数hwx取值在0,1区间内，因而可以将其作为对Pry=1的预测值。给定样本特征组x及其标签y，采用Logistic模型hw描述特征组x与概率Pry=1之间的关系。其中，hw预测x的标签为1的概率为hwx=11 e-〈w,x〉而它预测标签为0的概率为1－hwx=e-〈w,x〉1 e-〈w,x〉=11 e〈w,x〉(5.5)为了描述Logistic回归算法，还需指明损失函数。
定义5.2(对数损失函数)对任意 y=y1,y2,…,yk,z=(z1,z2,…,zk)∈0,1k，对数损失函数定义为ly,z=－∑kt=1ytlogzt(5.6)在一个二元分类问题中，Logistic回归算法就是以式(5.4)的Logistic模型为模型假设，且以式(5.6)的对数损失为损失函数的经验损失小化算法。
注意到在式(5.6)的对数损失函数中，标签采用的是k元分类问题的向量标签的形式。对于二元分类问题，如果标签是采取01标签的形式，则式(5.6)的对数损失函数可以表示为ly,hw(x)=-yloghwx－1－ylog(1－hwx)(5.7)给定一条训练数据x,y，x∈n，y∈0,1。 hw为Logistic模型。将式(5.4)和式(55)代入式(5.7)，得到模型hw在x,y上的对数损失函数为ly,hwx=-ylog11 e-〈w,x〉－1－ylog11 e〈w,x〉(5.8)式(5.8)还可以进一步简化为ly,hwx=ylog(1 e-〈w,x〉) 1－ylog(1 e〈w,x〉)(5.9)Logistic回归算法的目标函数是由式(5.9)定义的损失函数在训练数据上的经验损失。相应的算法描述见图5.2。Logistic回归算法
输入： m条训练数据 S={(x（1）,y（1）),(x（2）,y（2）),…,(x（m）,y（m）)}
输出： Logistic模型 hwx=11 e-〈w,x〉，使得w∈n为如下优化问题的解minw∈n1m∑mi=1y(i)log1 e-〈w,x(i)〉 1－y(i)log1 e〈w,x(i)〉图5.2Logistic回归算法描述定义5.3（交叉熵）式(5.10)中的Logistic回归问题的目标函数称为交叉熵 1m∑mi=1y(i)log1 e-〈w,x(i)〉 1－y(i)log1 e〈w,x(i)〉5.10在线性回归算法中的一个基本假设是，标签分布是以模型预测值为期望的正态分布。因此，可以根据正态分布的似然函数推导出其均方误差。交叉熵的统计意义同样可以用似然原则来阐述。与线性回归算法类似，Logistic回归算法中也有一个关于标签分布的基本假设，即标签分布是伯努利分布。给定Logistic模型hw及特征样本x，Logistic回归假设标签分布Dx=Bernoulli（hw（x））是以hw（x）为期望的伯努利分布。如果用Y表示标签随机变量，则Y的分布有如下参数化的形式pwY=y=hw(x)，如果y=1
1－hw(x)，如果y=0(5.11)式(5.11)等价于pwY=y=hwxy1－hwx1－y(5.12)因此，给定训练数据x（1）,y（1）),(x（2）,y（2）),…,(x（m）,y（m），Logistic模型hw的似然函数为Likew|y（1）,y（2）,…,y（m）=∏mi=1pwY=y(i)
=∏mi=1hwx(i)y(i)1－hwx(i)1－y(i)(5.13)与线性回归中的处理方法类似，化似然函数等价于化似然函数的对数。对式(5.13)取对数，得到∑mi=1y(i)loghwx(i) 1－y(i)log1－hwx(i)(5.14)对式(5.14)取负号，再乘以常数1/m，即得交
相关推荐
— 没有更多了 —
以下为对购买帮助不大的评价