机器学习：从基础理论到典型算法（原书第2版）

本书是关于机器学习的概述，适合作为该领域学生和研究人员的教科书。本书涵盖机器学习领域的基本内容，并且提供讨论及检验算法合理性所必需的理论基础和概念工具。不仅如此，本书还描述了应用相关算法时需要考虑的若干关键问题。
本书旨在介绍最新的理论和概念，并且对于相对先进的结果给出简要的证明。总体而言，我们尽可能使全书叙述简洁。尽管如此，我们也会讨论机器学习中出现的一些重要且复杂的主题，指出若干开放的研究问题。对于那些常常与其他主题合并或者未引起足够关注的主题，本书将单独着重讨论，例如，将多分类、排序和回归分别用一章来讲解。
尽管本书覆盖机器学习中很多重要的主题，但是出于简略且因目前缺乏针对一些方法的坚实的理论保证，未能覆盖图模型和神经网络这两个重要主题。
本书主要面向机器学习、统计和其他相关领域的学生与研究人员，适合作为研究生和高年级本科生课程的教科书，或者学术研讨会的参考资料。本书前三四章为后续材料奠定理论基础，第6章引入一些被后面章节广泛使用的概念来完善理论，第13章与第12章密切相关，而其余各章大多自成体系。我们在每章最后给出一套习题，并单独给出完整的解答。
我们假定本书的读者熟悉线性代数、概率和算法分析的基本概念。但是，为了进一步辅助学习，我们在附录中会简要回顾线性代数和概率的相关知识，给出凸优化和信息论的简介，并且汇总本书分析和讨论中常用的集中不等式。
不少著作在介绍机器学习时从贝叶斯角度或者核方法等特定主题具体展开，而本书的不同之处在于提供了适用于多个机器学习主题和领域的统一介绍。此外，本书的特色还在于对机器学习理论基础的深入剖析，并给出详细的证明。
这是本书的第2版，我们对全书内容进行了更新。主要修改之处包括：书写风格调整、示意图新增、表述简化、内容补充（特别是第6章和第17章）、章节新增等。具体而言，我们增加了一整章来介绍模型选择（第4章）这一重要主题，对上一版中的相关内容进行了拓展。我们也增加了两个全新的章节分别介绍机器学习中的两个重要主题：最大熵模型（第12章）和条件最大熵模型（第13章）。我们还对附录进行了大幅调整。在附录B中，详述了凸优化中的Fenchel对偶性。在附录D中，补充介绍了大量相关的集中不等式。在附录E中，新增了关于信息论的内容。此外，这一版对每章的习题和解答也进行了大量的更新。
这里所介绍的大部分材料来自机器学习研究生课程(机器学习基础)，在过去14年中，该课程由本书第一作者在纽约大学库朗数学科学研究所讲授。本书极大地受益于该课程的学生、朋友、同事和研究人员所提出的宝贵意见与建议，在此对他们深表感激。
我们特别感谢Corinna Cortes和Yishay Mansour对于本书第1版内容的设计与组织提出的许多重要建议，包括大量详细的注释。我们充分考虑了他们的建议，这对于改进全书帮助很大。此外，还要感谢Yishay Mansour用本书的最初版本进行教学，并向我们积极反馈。
我们还要感谢来自学术界和企业界研究实验室的同事与朋友所给予的讨论、建议和贡献，他们是：Jacob Abernethy、Cyril Allauzen、Kareem Amin、Stephen Boyd、Aldo Corbisiero、Giulia DeSalvo、Claudio Gentile、Spencer Greenberg、Lisa Hellerstein、Sanjiv Kumar、Vitaly Kuznetsov、Ryan McDonald、Andrès Muoz Medina、Tyler Neylon、Peter Norvig、Fernando Pereira、Maria Pershina、Borja de Balle Pigem、Ashish Rastogi、Michael Riley、Dmitry Storcheus、Ananda Theertha Suresh、Umar Syed、Csaba Szepesvri、Toshiyuki Tanaka、Eugene Weinstein、Jason Weston、Scott Yang和Ningshan Zhang。
最后，我们还要感谢MIT出版社对本书所给予的帮助和支持。

本书是机器学习领域内一部具有里程碑意义的著作。包括哥伦比亚大学、北京大学在内的多个国内外名校均有以该书为基础开设的研究生课程。全书内容丰富，视野宽阔，深入浅出地介绍了目前机器学习重要的理论和关键的算法。