凸优化：算法与复杂性

凸优化的数学研究已经有一个世纪了，近的一些相关发展也激发了人们对这个问题的新兴趣.首先是认识到在20世纪80年代发展起来用于解决线性规划的内点法，也可以用来解决凸优化问题.这种方法使我们能够解决某些新的凸优化问题，如半定规划和二阶锥规划，几乎与线性规划一样容易.
第二个发展是发现凸优化问题（超越小二乘法和线性规划）在实践中使用得更普遍.自1990年以来，在自动控制系统、估计和信号处理、通信和网络、电子电路设计、数据分析和建模、统计和金融等领域已发现许多凸优化的应用.凸优化在组合优化和全局优化中也有着广泛的应用，如被用来寻找值的界，以及近似解.我们相信凸优化还有许多其他应用有待发现.
将一个问题识别或表述为凸优化问题有很大的优势.基本的优点是，使用内点法或其他特殊的凸优化方法可以非常可靠和有效地解决问题.这些求解方法是可靠的，可以嵌入到计算机辅助设计或分析工具中，甚至可以嵌入到实时反应或自动控制系统中.将问题描述为凸优化问题也有理论或概念上的优势.例如，相关联的对偶问题通常对原始问题存在一个有趣的解释，有时会产生一个有效的或分布式的解决方法.
本书主要由六章组成.第1章综合介绍了一些机器学习中的凸优化问题和凸性的基本性质，以及凸性质存在的意义.第2章主要介绍有限维凸优化方法，包括重心法、椭球法、Vaidya割平面法以及共轭梯度法.第3章主要介绍维度无关的凸优化方法，包括Lipschitz函数的投影次梯度下降、光滑函数的梯度下降、条件梯度下降、几何下降以及Nesterov加速梯度下降.第4章主要介绍镜像下降的非欧氏空间与维度无关的凸优化方法以及关于MD、DA和MP的向量场观点.第5章主要介绍迭代收缩阈值算法、快速ISTA算法、CMD和RDA算法、鞍点镜像下降法的超越黑箱模型，以及超越黑箱模型的实际应用.第6章主要介绍凸优化和随机性的结合，包括（非）光滑随机优化、随机坐标下降、鞍点的随机加速、凸松弛与随机取整以及基于随机游动的方法.
本书是Sébastien Bubeck教授凝聚多年心血，专门为计算机科学家打造的一本专著，它内容翔实，推导过程简洁，主要把机器学习中涉及的凸优化设计思想，通过简练的数学语言进行了阐述.在此，我也推荐读者在阅读本书时，通过自己擅长的计算机语言进行相关算法实现，并对实现过程进行性能优化和延伸.本书可以考虑作为计算机科学、软件工程、统计学、应用数学、数据科学与大数据、人工智能等专业本科生和研究生的基础教材，也可作为数据科学家、工程师和科研人员的案头工具书.
本书主要由刘晓骏负责翻译、校对、审核、统稿和定稿，郭涛及其团队参与了译稿的校对工作，在此对他们表示衷心感谢.感谢机械工业出版社王春华编辑和柯敬贤编辑，他们在本书的翻译和出版过程中给了我悉心的指导.感谢所有参与本书出版的出版社工作人员对本书做出的贡献.
为了能够让读者尽快读到这本书，我加快了翻译进度，但本书涵盖内容多，翻译难度大，任务重，加上本人翻译水平有限，在翻译过程中难免有错漏之处，欢迎读者在阅读过程中将关于本书的勘误、存在的问题和完善意见提交到Github（https://githubcom/guotao0628/PSforComputerScientists）.

刘晓骏
2020年夏于华南理工大学

本书介绍了凸优化中的主要复杂性定理及其相应的算法。从黑箱优化的基本理论出发，内容材料是朝着结构优化和随机优化的新进展。我们对黑箱优化的介绍，深受Nesterov的开创性著作和Nemirovski讲稿的影响，包括对切割平面方法的分析，以及（加速）梯度下降方案。我们还特别关注非欧几里德的情况（相关算法包括Frank Wolfe、镜像下降和对偶平均法），并讨论它们在机器中的相关性学习。我们慢慢的介绍了FISTA（优化一个光滑项和一个简单的非光滑项的和）、鞍点镜像代理（Nemirovski平滑替代Nesterov的光滑）和一个对内点方法的简明描述。在随机优化中，我们讨论了随机梯度下降、小批量、随机坐标下降和次线性算法。我们还简单地讨论了组合问题的凸松弛和随机性对取整（四舍五入）解的使用，以及基于随机游动的方法。

塞巴斯蒂安·布贝克（Sébastien Bubeck）是微软Redmond研究院理论组的首席研究员，曾担任COLT 2013、COLT 2014的联席主席，NIPS 2012、NIPS 2014、NIPS 2016、COLT 2013、COLT 2014、COLT 2015、COLT 2016、ICML 2015、ICML 2016、ALT 2013、ALT 2014的项目委员会成员，也是COLT的指导委员会成员。其研究兴趣包括机器学习、凸优化、统计网络分析、随机图和随机矩阵，以及信息论在学习、优化和概率中的应用。

译者序
致谢
第1章绪论1
11机器学习中的若干凸优化问题1
12凸性的基本性质3
13凸性的作用5
14黑箱模型7
15结构性优化8
16结果的概述和免责声明9
第2章有限维的凸优化12
21重心法12
22椭球法14
23Vaidya割平面法18
231体积障碍19
232Vaidya算法20
233Vaidya方法分析20
234限制条件和体积障碍22
24共轭梯度26
第3章维度无关的凸优化30
31Lipschitz函数的投影次梯度下降31
32光滑函数的梯度下降33
33条件梯度下降39
34强凸性43
341 强凸函数和Lipschitz函数44
342强凸光滑函数45
35下限47
36几何下降52
361热身赛：梯度下降的几何学替代方案53
362加速度55
363几何下降法56
37Nesterov加速梯度下降58
371光滑强凸情况58
372光滑的情况62
第4章非欧氏空间几乎维度无关的凸优化65
41镜像映射66
42镜像下降67
43镜像下降的标准设置70
44惰性镜像下降72
45镜像代理74
46关于MD、DA和MP的向量场观点76
第5章超越黑箱模型78
51光滑项与简单非光滑项之和78
52非光滑函数的光滑鞍点表示80
521鞍点计算81
522鞍点镜像下降82
523鞍点镜像代理83
524应用84
53内点法87
531障碍法87
532牛顿法的传统分析88
533自和谐函数90
534ν自和谐障碍92
535路径跟踪方案95
536线性规划和半定规划的内点法96
第6章凸优化与随机性98
61非光滑随机优化99
62光滑随机优化与小批量SGD100
63光滑函数与强凸函数的和103
64随机坐标下降107
641坐标平滑优化的RCD算法108
642用于光滑和强凸优化的RCD110
65鞍点的随机加速112
66凸松弛与随机取整113
67基于随机游动的方法117
参考文献120

本书介绍了凸优化中的主要复杂性定理及其相应的算法。从黑箱优化的基本理论出发，内容材料是朝着结构优化和随机优化的新进展。我们对黑箱优化的介绍，深受Nesterov的开创性著作和Nemirovski讲稿的影响，包括对切割平面方法的分析，以及（加速）梯度下降方案。我们还特别关注非欧几里德的情况（相关算法包括Frank Wolfe、镜像下降和对偶平均法），并讨论它们在机器中的相关性学习。我们慢慢的介绍了FISTA（优化一个光滑项和一个简单的非光滑项的和）、鞍点镜像代理（Nemirovski平滑替代Nesterov的光滑）和一个对内点方法的简明描述。在随机优化中，我们讨论了随机梯度下降、小批量、随机坐标下降和次线性算法。我们还简单地讨论了组合问题的凸松弛和随机性对取整（四舍五入）解的使用，以及基于随机游动的方法。

塞巴斯蒂安·布贝克（Sébastien Bubeck）是微软Redmond研究院理论组的首席研究员，曾担任COLT 2013、COLT 2014的联席主席，NIPS 2012、NIPS 2014、NIPS 2016、COLT 2013、COLT 2014、COLT 2015、COLT 2016、ICML 2015、ICML 2016、ALT 2013、ALT 2014的项目委员会成员，也是COLT的指导委员会成员。其研究兴趣包括机器学习、凸优化、统计网络分析、随机图和随机矩阵，以及信息论在学习、优化和概率中的应用。