强化学习

图书标准信息

• 作者 魏庆来；王飞跃
• 出版社 清华大学出版社
• 出版时间 2022-07
• 版次 1
• ISBN 9787302589723
• 定价 59.80元
• 装帧 其他
• 开本 16开
• 纸张 胶版纸
• 页数 248页
• 字数 377千字

【内容简介】

强化学习是目前机器学习乃至人工智能领域发展最快的分支之一。强化学习的基本思想是通过与环境的交互、智能体或智能算法获取相关智能，其具体过程就是根据环境反馈得到的奖励不断调整自身的策略进而获得**奖励决策的学习历程。本书主要讲述了强化学习的基本原理和基本方法，基于强化学习的控制、决策和优化方法设计与理论分析，深度强化学习原理以及平行强化学习等未来强化学习的发展新方向，展示从先行后知到先知后行，再到知行合一的混合平行智能思路。 本书可作为高等学校人工智能、机器学习、智能控制、智能决策、智慧管理、系统工程以及应用数学等专业的本科生或研究生教材，亦可供相关专业科研人员和工程技术人员参考。

【目录】

第1章强化学习概论

1.1引言

1.2强化学习的发展历程

1.3强化学习的研究现状

1.4本书内容架构

参考文献

第2章马尔可夫决策过程

2.1马尔可夫决策过程

2.2策略与代价函数

2.3最优策略与最优代价函数

参考文献

第3章动态规划

3.1动态规划的兴起

3.2动态规划基本思想： 多级决策过程

3.3最优性原理与递推方程

3.4离散时间动态规划

3.5连续时间动态规划

3.6动态规划的挑战

参考文献

第4章蒙特卡洛学习方法

4.1蒙特卡洛方法背景

4.1.1蒙特卡洛方法的由来

4.1.2基于模型的算法与无模型算法比较

4.1.3蒙特卡洛模拟的思路

4.2蒙特卡洛预测

4.2.1初次访问蒙特卡洛预测

4.2.2历次访问蒙特卡洛预测

4.2.3增量计算技巧

4.3蒙特卡洛控制

4.3.1初始探索问题

4.3.2在策方法： ε贪心算法

4.3.3脱策算法： 重要性采样

4.4蒙特卡洛强化学习算法总结

参考文献

 

 

 

第5章时序差分学习

5.1时序差分学习基本概念

5.2时序差分学习算法

5.3n步回报 

5.4TD(λ)算法

参考文献

第6章神经网络

6.1神经网络的发展历史

6.2MP神经元模型

6.3前馈神经网络

6.3.1感知机

6.3.2误差反向传播算法

6.3.3径向基网络

6.4其他常见的神经网络

6.4.1ART网络

6.4.2Hopfield网络

6.4.3Boltzmann机

参考文献

第7章自适应动态规划

7.1问题描述

7.2自适应动态规划的原理

7.3自适应动态规划的分类

7.3.1启发式动态规划

7.3.2二次启发式规划

7.3.3执行依赖启发式动态规划

7.3.4执行依赖二次启发式规划

7.4基于执行依赖的自适应动态规划方法

7.4.1问题描述

7.4.2基于执行依赖的自适应动态规划方法

参考文献

第8章策略迭代学习方法

8.1启发式学习原理

8.2离散时间策略迭代自适应动态规划

8.2.1策略迭代算法的推导

8.2.2策略迭代算法的性质

8.2.3初始容许控制律的获得

8.2.4仿真实验

8.3连续时间策略迭代自适应动态规划

8.3.1连续时间策略迭代算法

8.3.2连续时间策略迭代自适应动态规划的性能分析

参考文献

第9章值迭代学习方法

9.1值迭代学习原理

9.2离散时间值迭代自适应动态规划

9.2.1离散时间非线性系统的Bellman方程解

9.2.2广义值迭代自适应动态规划

9.3连续时间值迭代自适应动态规划

9.3.1问题描述

9.3.2主要结果

参考文献

第10章Q学习方法

10.1无模型强化学习

10.2Q学习原理

10.3离散时间确定性Q学习

10.3.1问题描述

10.3.2离散时间确定性Q学习算法的性质

10.3.3离散时间确定性Q学习算法的神经网络实现

10.3.4仿真实验

10.4Q学习进展

参考文献

第11章脱策学习

11.1脱策学习的兴盛

11.2脱策学习的基本思想

11.2.1问题描述

11.2.2相关研究工作

11.3脱策学习过程

11.3.1脱策强化学习

11.3.2基于神经网络的实现

11.4脱策学习收敛性分析

11.5基于脱策强化学习的线性H∞控制

11.6仿真实验

参考文献

第12章深度强化学习

12.1深度学习基本概念

12.1.1深度学习的起源

12.1.2深度学习与传统机器学习

12.1.3深度学习的运用环境

12.2深度神经网络

12.2.1深度神经网络溯源

12.2.2梯度下降法

12.2.3反向传播

12.2.4动量模型

12.2.5学习律

12.3卷积神经网络

12.3.1卷积神经网络介绍

12.3.2卷积层

12.3.3采样层

12.3.4分类层

12.3.5经典卷积神经网络结构

12.4循环神经网络

12.4.1循环神经网络介绍

12.4.2长短期记忆模型

12.5生成对抗网络

12.6深度强化学习基本理论

12.6.1Q函数

12.6.2策略

12.6.3效用值

12.6.4模型

12.6.5规划

12.7深度强化学习实际应用

12.7.1游戏

12.7.2机器人与控制

12.7.3自然语言处理

12.7.4计算机视觉

12.8未来待解决的问题

12.8.1采样效率低下

12.8.2难以寻找合适的效用函数

12.8.3局部最优陷阱

12.8.4过拟合问题

12.8.5复现难题

12.8.6适用场景与未来思考

参考文献

第13章强化学习展望： 平行强化学习

13.1自适应动态规划与深度强化学习

13.2平行控制理论的基本思想

13.3平行动态规划方法

参考文献