强化学习与最优控制

图书标准信息

• 作者 （美）德梅萃·P. 博塞克斯（Dimitri P. Bertsekas） 著 李宇超 译
• 出版社 清华大学出版社
• 出版时间 2020
• 版次 1
• ISBN 9787302656449
• 定价 139.00元
• 装帧 平装
• 开本 16开
• 页数 284页
• 字数 462千字

【内容简介】

本书虑大规模且具有挑战的多阶段决策问题。原则上，此类问题可以通过动态规划来求解。但是，对于许多实际问题，以该方法进行数值求解是难以实现的。本书探讨的求解方法通过采用相关的近似，能够给出满足能要求的次优策略。此类方法被统称为强化学。强化学从很优控制和人工智能这两个领域的思想碰撞中获益良多。本书的目的之一便是探讨这两个领域的共同边界，从而为具有其中任一领域背景的研究者提供通向另一领域的桥梁。另外一个目的则是挑选出许多在实践中证明有效的且具有坚实的理论与逻辑基础的方法，并将它们有组织地整理起来。
原著作者美国工程院院士dimitri p.berteka教授，有极高的学术造诣和学术声誉，在学术专著和教材的写作方面取得了公认的。

【作者简介】

李宇超，瑞典皇家理工学院决策与控制专业博士在读。博士期间研究课题为强化学，很优控制，以及相关理论在智能交通领域的应用。他于2015年在哈尔滨大学机械制造及其自动化专业获得本科，并在1年后从现读学院的机电一体化专业获得硕士。

【目录】

章 准确动态规划 1

1.1 确定动态规划 1

1.1.1 确定问题 1

1.1.2 动态规划算法 5

1.1.3 值空间的近似 9

1.2 动态规划 10

1.3 例子、变形和简化 13

1.3.1 确定短路径问题 14

1.3.2 确定离散优化问题 15

1.3.3 含终止的问题 18

1.3.4 预报 20

1.3.5 含不可控组分的问题 21

1.3.6 不完整的信息和置信 25

1.3.7 线二次型很优控制 28

1.3.8 含未知参数的系统——自适应控制 30

1.4 强化学与优控制——一些术语 32

1.5 注释和资源 34

第2章 值空间的近似 36

2.1 强化学中的近似方法 36

2.1.1 值空间近似的一般问题 39

2.1.2 离线与在线方法 40

2.1.3 针对前瞻小化的基于模型的简化 40

2.1.4 无模型的离线 q 因子近似 41

2.1.5 基于值空间近似的策略空间近似 43

2.1.6 值空间的近似何时有效 44

2.2 多步前瞻 45

2.2.1 多步前瞻与滚动时域 46

2.2.2 多步前瞻与确定问题 47

2.3 问题近似 48

2.3.1 强制解耦 49

2.3.2 问题中的近似——确定等价控制  54

2.4 策略前展与策略改进原则 58

2.4.1 针对确定离散优化问题的在线策略前展 59

2.4.2 策略前展与蒙特卡洛树搜索 68

2.4.3 基于专家的策略前展 75

2.5 针对确定无穷空间问题的在线策略前展——优化类启发式方法 76

2.5.1 模型预测控制 77

2.5.2 目标管道与约束可控条件 82

2.5.3 模型预测控制的变形 85

2.6 注释与资源 86

第3章 参数化近似 90

3.1 近似架构 90

3.1.1 基于特征的线与非线参数架构 90

3.1.2 训练线与非线架构 95

3.1.3 增量梯度与牛顿法 96

3.2 神经网络 107

3.2.1 训练神经网络 109

3.2.2 多层与深度神经网络 112

3.3 连续动态规划近似 115

3.4 q 因子参数化近似 116

3.5 基于分类的策略空间参数化近似 119

3.6 注释与资源 122

第4章 无穷阶段动态规划 124

4.1 无穷阶段问题概论 124

4.2 短路径问题 126

4.3 折扣问题 133

4.4 半马尔可夫折扣问题 137

4.5 异步分布式值迭代 141

4.6 策略迭代 144

4.6.1 准确策略迭代 144

4.6.2 乐观与多步前瞻策略迭代 148

4.6.3 针对 q 因子的策略迭代 149

4.7 注释和资源 151

4.8 附录：数学分析 152

4.8.1 短路径问题的相关证明 152

4.8.2 折扣问题的相关证明 157

4.8.3 准确与乐观策略迭代的收敛 157

第5章 无穷阶段强化学 160

5.1 值空间近似——能界 160

5.1.1 有限前瞻 162

5.1.2 策略前展 164

5.1.3 近似策略迭代 167

5.2 拟合值迭代 169

5.3 采用参数化近似的基于的策略迭代 173

5.3.1 自主学与执行-批评方法 173

5.3.2 一种基于模型的变体 174

5.3.3 一种无模型的变体 176

5.3.4 实施参数化策略迭代的挑战 177

5.3.5 近似策略迭代的收敛问题——振荡 180

5.4 q 学 183

5.5 附加方法——时序差分 185

5.6 准确与近似线规划 194

5.7 策略空间近似 196

5.7.1 通过费用优化执行训练——策略梯度、交熵以及搜索方法 199

5.7.2 基于专家的监督学 207

5.7.3 近似策略迭代、策略前展与策略空间近似 208

5.8 注释和资源 212

5.9 附录：数学分析 216

5.9.1 多步前瞻的能界 216

5.9.2 策略前展的能界 218

5.9.3 近似策略迭代的能界 220

第6章 聚集 223

6.1 包含代表的聚集 223

6.1.1 连续控制空间离散化 227

6.1.2 连续空间——部分可观察马尔可夫决策问题的离散化 228

6.2 包含代表特征的聚集 230

6.2.1 硬聚集与误差界 232

6.2.2 采用特征的聚集 234

6.3 求解聚集问题的方法 237

6.3.1 基于的策略迭代 238

6.3.2 基于的值迭代 240

6.4 包含神经网络的基于特征的聚集 241

6.5 偏心聚集 242

6.6 注释和资源 244

6.7 附录：数学分析 247

参文献 250