【现货速发】机器学习算法

译者序

Algorithmic Aspects of Machine Learning

随着人工智能在近十年的不断兴起，以及计算科学技术的发展进步，学术界/工业界对机器学习算法的研究逐渐深入，很多实际应用问题得以解决。机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习是人工智能的核心，主要研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断完善。

虽然机器学习的覆盖范围比较广，但本书主要集中在处理矩阵数据的矩阵运算算法方面，专业性比较强。相对于以往专注于机器学习理论以及机器学习算法实践方面的书籍，本书应该介于这两者之间，目的是使读者针对算法“知其然且知其所以然”。本书可以作为相关专业本科高年级学生或研究生的教材。

非常感谢本书作者的信任和机械工业出版社的委托，本书的翻译是由我和苏州大学的赵朋朋老师合作完成的。我们两个人的研究方向都是机器学习、数据挖掘，包括迁移学习、推荐系统等。还有一些研究生也参与了本书的翻译工作，他们是（排名不分先后）：郭庆宇、沈丹瑶、齐志远、罗安靖、赵静。出版社的编辑在排版和校对方面给予了我们极大的帮助。感谢他们为本书的出版付出的努力！

由于时间仓促以及一些翻译习惯上的差异，本书难免存在瑕疵，在此谨致歉意。若有发现，请及时反馈给我或出版社以进行修正，本人将不胜感激。

庄福振

2021年1月

前言

Algorithmic Aspects of Machine Learning

本书基于麻省理工学院在2013年秋季、2015年春季和2017年秋季开设的“Algorithmic Aspects of Machine Learning”课程。感谢学习本课程并使之成为一次美妙体验的所有学生。

本书探索理论计算机科学和机器学习这两个领域能够互相借鉴的知识，以此把它们关联起来。本书介绍机器学习中的重要模型和主要问题，并以一种容易理解的方式介绍该领域的前沿研究成果以及现代算法工具，包括矩量法、张量分解法和凸规划松弛法。本书共8章，内容涵盖非负矩阵分解、主题模型、张量分解、稀疏恢复、稀疏编码、高斯混合模型和矩阵补全等。本书适合理论计算机科学家、机器学习研究人员以及相关专业的学生阅读和学习。

安柯·莫特拉（Ankur Moitra）　

麻省理工学院洛克威尔国际数学系副教授。他是麻省理工学院计算机科学和人工智能实验室（CSAIL）的首席研究员，也是计算理论小组、机器学习和统计中心的核心成员。他的工作目标是通过开发在行为推理方面具有可证明的保证和基础的算法，来在理论计算机科学和机器学习之间架起一座桥梁。他是帕克德奖学金、斯隆奖学金、美国国家科学基金会（NSF）终身成就奖、NSF计算与创新奖学金和赫兹奖学金的获得者。

◆ 译者简介 ◆

庄福振

北京航空航天大学研究员、博士生导师，于2011年7月在中国科学院研究生院获得博士学位。主要从事机器学习、数据挖掘，包括迁移学习、多任务学习、系统以及大数据挖掘应用等方面的研究，相关成果已经在本领域、重要国际期刊和国际会议上发表/录用论文100余篇。迁移学习的工作曾获得SDM2010和CIKM2010的论文提名，2013年获得中国人工智能学会优秀博士学位论文奖。入选2015年微软亚洲研究院青年教师“铸星计划”，2017年入选中国科学院青年创新促进会。

赵朋朋

苏州大学教授，博士生导师，苏州工业园区科技领军人才, CCF 高级会员，CCF人工智能与模式识别专委会委员，CCF大数据专家委员会通讯委员。近年来，主持国家自然科学基金项目2项、省市级项目5项，获苏州市科技进步奖 2项；参加国家自然科学基金项目、重点项目、江苏省重大科技支撑与自主创新项目等6项；主持多项企业/国防横向项目研发，包括引擎、流式数据处理、大数据分析等。在相关学术会议和期刊上发表论文100余篇，其中包括50余篇TKDE、AAAI、IJCAI、WWW、ACM MM、ICDM等CCF-A/B类论文，被SCI、EI索引收录100余篇；申请国家发明专利30余项，其中20余项已获授权。担任AAAI、IJCAI、CIKM、DASFAA、PAKDD等权威国际会议程序委员会委员。主要研究兴趣包括系统、数据挖掘、深度学习、大数据分析等。

译者序
前言
第1章引言
第2章非负矩阵分解
21介绍
22代数算法
23稳定性和可分离性
24主题模型
25练习
第3章张量分解：算法
31旋转问题
32张量入门
33Jennrich算法
34矩阵摄动界
35练习
第4章张量分解：应用
41进化树和隐马尔可夫模型
42社区发现
43扩展到混合模型
44独立成分分析
45练习
第5章稀疏恢复
51介绍
52非相干性和不确定性原理
53追踪算法
54Prony方法
55压缩感知
56练习
第6章稀疏编码
61介绍
62不完备情况
63梯度下降
64过完备情况
65练习
第7章高斯混合模型
71介绍
72基于聚类的算法
73密度估计的讨论
74无聚类算法
75单变量算法
76代数几何视图
77练习
第8章矩阵补全
81介绍
82核范数
83量子高尔夫
参考文献
索引

本书探索理论计算机科学和机器学习这两个领域能够互相借鉴的知识，以此把它们关联起来。本书介绍机器学习中的重要模型和主要问题，并以一种容易理解的方式介绍该领域的前沿研究成果以及现代算法工具，包括矩量法、张量分解法和凸规划松弛法。本书共8章，内容涵盖非负矩阵分解、主题模型、张量分解、稀疏恢复、稀疏编码、高斯混合模型和矩阵补全等。本书适合理论计算机科学家、机器学习研究人员以及相关专业的学生阅读和学习。

安柯·莫特拉（Ankur Moitra）　

麻省理工学院洛克威尔国际数学系副教授。他是麻省理工学院计算机科学和人工智能实验室（CSAIL）的首席研究员，也是计算理论小组、机器学习和统计中心的核心成员。他的工作目标是通过开发在行为推理方面具有可证明的保证和基础的算法，来在理论计算机科学和机器学习之间架起一座桥梁。他是帕克德奖学金、斯隆奖学金、美国国家科学基金会（NSF）终身成就奖、NSF计算与创新奖学金和赫兹奖学金的获得者。

◆ 译者简介 ◆

庄福振

北京航空航天大学研究员、博士生导师，于2011年7月在中国科学院研究生院获得博士学位。主要从事机器学习、数据挖掘，包括迁移学习、多任务学习、系统以及大数据挖掘应用等方面的研究，相关成果已经在本领域、重要国际期刊和国际会议上发表/录用论文100余篇。迁移学习的工作曾获得SDM2010和CIKM2010的论文提名，2013年获得中国人工智能学会优秀博士学位论文奖。入选2015年微软亚洲研究院青年教师“铸星计划”，2017年入选中国科学院青年创新促进会。

赵朋朋

苏州大学教授，博士生导师，苏州工业园区科技领军人才, CCF 高级会员，CCF人工智能与模式识别专委会委员，CCF大数据专家委员会通讯委员。近年来，主持国家自然科学基金项目2项、省市级项目5项，获苏州市科技进步奖 2项；参加国家自然科学基金项目、重点项目、江苏省重大科技支撑与自主创新项目等6项；主持多项企业/国防横向项目研发，包括引擎、流式数据处理、大数据分析等。在相关学术会议和期刊上发表论文100余篇，其中包括50余篇TKDE、AAAI、IJCAI、WWW、ACM MM、ICDM等CCF-A/B类论文，被SCI、EI索引收录100余篇；申请国家发明专利30余项，其中20余项已获授权。担任AAAI、IJCAI、CIKM、DASFAA、PAKDD等权威国际会议程序委员会委员。主要研究兴趣包括系统、数据挖掘、深度学习、大数据分析等。

本书是关于机器学习和理论计算机科学的结合领域先进的介绍，由该领域的一位领先专家精心撰写。

——Tim Roughgarden，斯坦福大学

本书是一个宝典。它由一系列精心挑选和组织的章节组成，每章集中介绍机器学习应用中出现的一个算法问题。在阅读过程中，读者可以从代数、概率、几何和分析方面学习算法背后的新数学技巧及其复杂性。所有这些知识都以清晰直观的方式传递。

——Avi Wigderson，普林斯顿高等研究院

一本非常易读的导论，介绍了一系列精心策划的主题和算法。本书是对理论机器学习和应用数学感兴趣的学生和研究人员的一个极好的资源。

——Sanjeev Arora, 普林斯顿大学

本书清晰地介绍了无监督机器学习中重要的算法问题，描述了这些问题目前所面临的挑战，为解决这些问题提供了已知的可证明的保证，并解释了使用的重要算法技术。本书对该领域的教师、学生以及所有对了解和推进这一领域的研究感兴趣的人来说都是无价的资源。

——Avrim Blum, 丰田工业大学芝加哥分校

Moitra写了一本关于理论计算机科学和机器学习之间关联的高水平、快节奏的书。强烈推荐！

——M. Bona，Choice杂志

证明简单但未经证明的主张的挑战和更深入的主题介绍使它成为一本迷人的书。……书中好的部分之一是每章的介绍，它们彻底地启发了各章的主题。

——Sarvagya Upadhyay，SIGACT News