强化学习与最优控制(国际知名大学原版教材)(英文版)/信息技术学科与电气工程学科系列
全新正版 极速发货
￥ 71.02 4.8折 ￥ 149 全新
仅1件
广东广州
认证卖家担保交易快速发货售后保障
作者(美)德梅萃·P.博塞卡斯|责编:王一玲//李晔
出版社清华大学
ISBN9787302540328
出版时间2020-06
装帧其他
开本其他
定价149元
货号30884295
上书时间2024-09-04
商品详情
- 品相描述：全新
- 商品描述
-
目录
Contents
1. Exact Dynamic Programming
1.1. DeterministicDynamicProgramming . . . . . . . . . . . p. 2
1.1.1. DeterministicProblems . . . . . . . . . . . . . . p. 2
1.1.2. TheDynamicProgrammingAlgorithm . . . . . . . . p. 7
1.1.3. Approximation inValue Space . . . . . . . . . . . p. 12
1.2. StochasticDynamicProgramming . . . . . . . . . . . . . p. 14
1.3. Examples,Variations, and Simplifications . . . . . . . . . p. 18
1.3.1. Deterministic ShortestPathProblems . . . . . . . . p. 19
1.3.2. DiscreteDeterministicOptimization . . . . . . . . . p. 21
1.3.3. Problemswith aTermination State . . . . . . . . . p. 25
1.3.4. Forecasts . . . . . . . . . . . . . . . . . . . . . p. 26
1.3.5. Problems with Uncontrollable State Components . . . p. 29
1.3.6. PartialState Information andBelief States . . . . . . p. 34
1.3.7. LinearQuadraticOptimalControl . . . . . . . . . . p. 38
1.3.8. SystemswithUnknownParameters -Adaptive . . . . . .
Control . . . . . . . . . . . . . . . . . . . . . p. 40
1.4. ReinforcementLearning andOptimalControl - Some . . . . . .
Terminology . . . . . . . . . . . . . . . . . . . . . . p. 43
1.5. Notes and Sources . . . . . . . . . . . . . . . . . . . p. 45
2. Approximation in Value Space
2.1. ApproximationApproaches inReinforcementLearning . . . . p. 50
2.1.1. General Issues ofApproximation inValue Space . . . . p. 54
2.1.2. Off-Line andOn-LineMethods . . . . . . . . . . . p. 56
2.1.3. Model-Based Simplification of the Lookahead . . . . . .
Minimization . . . . . . . . . . . . . . . . . . . p. 57
2.1.4. Model-Free off-Line Q-Factor Approximation . . . . p. 58
2.1.5. Approximation inPolicy Space onTop of . . . . . . . .
ApproximationinValue Space . . . . . . . . . . . p. 61
2.1.6. When is Approximation in Value Space Effective? . . . p. 62
2.2. Multistep Lookahead . . . . . . . . . . . . . . . . . . p. 64
??ii
viii Contents
2.2.1. Multistep Lookahead and Rolling Horizon . . . . . . p. 65
2.2.2. Multistep Lookahead and Deterministic Problems . . . p. 67
2.3. Problem Approximation . . . . . . . . . . . . . . . . . p. 69
2.3.1. Enforced Decomposition . . . . . . . . . . . . . . p. 69
2.3.2. Probabilistic Approximation - Certainty Equivalent . . . .
Control . . . . . . . . . . . . . . . . . . . . . p. 76
2.4. Rollout and the Policy Improvement Principle . . . . . . . p. 83
2.4.1. On-Line Rollout for Deterministic Discrete . . . . . . . .
Optimization . . . . . . . . . . . . . . . . . . . p. 84
2.4.2. Stochastic Rollout and Monte Carlo Tree Search . . . p. 95
2.4.3. Rollout with an Expert . . . . . . . . . . . . . p. 104
2.5. On-Line Rollout for Deterministic Infinite-Spaces Problems - . . .
Optimization Heuristics . . . . . . . . . . . . . . . . p. 106
2.5.1. Model Predictive Control . . . . . . . . . . . . . p. 108
2.5.2. Target Tubes and the Constrained Controllability . . . . .
Condition . . . . . . . . . . . . . . . . . . . p. 115
2.5.3. Variants of Model Predictive Control . . . . . . . p. 118
2.6. Notes and Sources . . . . . . . . . . . . . . . . . . p. 120
3. Parametric Approximation
3.1. Approximation Architectures . . . . . . . . . . . . . . p. 126
3.1.1. Linear and Nonlinear Feature-Based Architectures . . p. 126
3.1.2. Training of Linear and Nonlinear Architectures . . . p. 134
3.1.3. Incremental Gradient and Newton Methods . . . . . p. 135
3.2. Neural Networks . . . . . . . . . . . . . . . . . . . p. 149
3.2.1. Training of Neural Networks . . . . . . . . . . . p. 153
3.2.2. Multilayer and Deep Neural Networks . . . . . . . p. 157
3.3. Sequential Dynamic Programming Approximation . . . . . p. 161
3.4. Q-Factor Parametric Approximation . . . . . . . . . . . p. 162
3.5. Parametric Approximation in Policy Space by . . . . . . . . .
Classification . . . . . . . . . . . . . . . . . . . . . p. 165
3.6. Notes and Sources . . . . . . . . . . . . . . . . . . p. 171
4. Infinite Horizon Dynamic Programming
4.1. An Overview of Infinite Horizon Problems . . . . . . . . p. 174
4.2. Stochastic Shortest Path Problems . . . . . . . . . . . p. 177
4.3. Discounted Problems . . . . . . . . . . . . . . . . . p. 187
4.4. Semi-Markov Discounted Problems . . . . . . . . . . . p. 192
4.5. Asynchronous Distributed Value Iteration . . . . . . . . p. 197
4.6. Policy Iteration . . . . . . . . . . . . . . . . . . . p. 200
4.6.1. Exact Policy Iteration . . . . . . . . . . . . . . p. 200
4.6.2. Optimistic and Multistep Lookahead Policy . . . . . . .
Iteration . . . . . . . . . . . . . . . . . . . . p. 205
4.6.3. Policy Iteration for Q-factors . . . . . . . . . . . p. 208
Contents i??
4.7. Notes and Sources . . . . . . . . . . . . . . . . . . p. 209
4.8. Appendix: MathematicalAnalysis . . . . . . . . . . . p. 211
4.8.1. Proofs for Stochastic ShortestPathProblems . . . . p. 212
4.8.2. Proofs forDiscountedProblems . . . . . . . . . . p. 217
4.8.3. ConvergenceofExact andOptimistic . . . . . . . . . .
Policy Iteration . . . . . . . . . . . . . . . . p. 218
5. Infinite Horizon Reinforcement Learning
5.1. Approximation in Value Space - Performance Bounds . . . p. 222
5.1.1. LimitedLookahead . . . . . . . . . . . . . . . p. 224
5.1.2. Rollout and Approximate Policy Improvement . . . p. 227
5.1.3. ApproximatePolicy Iteration . . . . . . . . . . . p. 232
5.2. FittedValue Iteration . . . . . . . . . . . . . . . . . p. 235
5.3. Simulation-BasedPolicy IterationwithParametric . . . . . . .
Approximation . . . . . . . . . . . . . . . . . . . . p. 239
5.3.1. Self-Learning andActor-CriticMethods . . . . . . p. 239
5.3.2. Model-Based Variant of a Critic-Only Method . . . p. 241
5.3.3. Model-FreeVariant of aCritic-OnlyMethod . . . . p. 243
5.3.4. Implementation Issues ofParametricPolicy . . . . . . .
Iteration . . . . . . . . . . . . . . . . . . . . p. 246
6.2.1. Hard Aggregation and Error Bounds . . . . . . . . p. 320
6.2.2. AggregationUsingFeatures . . . . . . . . . . . . p. 322
6.3. Methods for Solving theAggregateProblem . . . . . . . p. 328
6.3.1. Simulation-BasedPolicy Iteration . . . . . . . . . p. 328
6.3.2. Simulation-Based Value Iteration . . . . . . . . . p. 331
内容摘要
\\\"本书的目的是考虑大型且具有挑战性的多阶段决策问题，这些问题原则上可以通过动态规划和最优控制来解决，但它们的精确解决方案在计算上是难以处理的。本书讨论依赖于近似的解决方法，以产生具有足够性能的次优策略。这些方法统称为增强学习，也可以叫做近似动态规划和神经动态规划等。
本书的主题产生于最优控制和人工智能思想的相互作用。本书的目的之一是探索这两个领域之间的共同边界，并架设一座具有任一领域背景的专业人士都可以访问的桥梁。
\\\"
— 没有更多了 —
以下为对购买帮助不大的评价