Easy RL 强化学习教程【正版新书】
正版新书出版社直发可开发票，支持7天无理由
￥ 52.7 5.3折 ￥ 99.9 全新
库存30件
江苏无锡
认证卖家担保交易快速发货售后保障
作者王琦,杨毅远,江季 编
出版社人民邮电出版社
ISBN9787115584700
出版时间2022-03
装帧平装
开本16开
定价99.9元
货号1202592976
上书时间2024-06-23
- 在售商品 暂无
- 平均发货时间 14小时
- 好评率 暂无
商品详情
- 品相描述：全新
- 商品描述
-
作者简介
王琦，中国科学院大学硕士在读，Datawhale成员。主要研究方向为深度学习、数据挖掘。曾获中国大学生计算机设计大赛二等奖、亚太地区大学生数学建模竞赛（APMCM）二等奖和“挑战杯”全国竞赛江苏省选拔赛二等奖，发表SCI/EI论文3篇。
目录
第 1 章绪论 1
1.1 强化学习概述 1
1.1.1 强化学习与监督学习 1
1.1.2 强化学习的例子 5
1.1.3 强化学习的历史 7
1.1.4 强化学习的应用 8
1.2 序列决策概述 10
1.2.1 智能体和环境 10
1.2.2 奖励 10
1.2.3 序列决策 10
1.3 动作空间 12
1.4 强化学习智能体的组成部分和类型 12
1.4.1 策略 13
1.4.2 价值函数 13
1.4.3 模型 14
1.4.4 强化学习智能体的类型 16
1.5 学习与规划 19
1.6 探索和利用 20
1.7 强化学习实验 22
1.7.1 Gym 23
1.7.2 MountainCar-v0 例子27
1.8 关键词 30
1.9 习题 31
1.10 面试题 32
参考文献 32
第 2 章马尔可夫决策过程 33
2.1 马尔可夫过程 34
2.1.1 马尔可夫性质 34
2.1.2 马尔可夫过程/马尔可夫链 34
2.1.3 马尔可夫过程的例子 35
2.2 马尔可夫奖励过程 36
2.2.1 回报与价值函数 36
2.2.2 贝尔曼方程 38
2.2.3 计算马尔可夫奖励过程价值的迭代算法 42
2.2.4 马尔可夫奖励过程的例子 43
2.3 马尔可夫决策过程 44
2.3.1 马尔可夫决策过程中的策略 44
2.3.2 马尔可夫决策过程和马尔可夫过程/马尔可夫奖励过程的区别 45
2.3.3 马尔可夫决策过程中的价值函数 45
2.3.4 贝尔曼期望方程 46
2.3.5 备份图47
2.3.6 策略评估 49
2.3.7 预测与控制 51
2.3.8 动态规划 53
2.3.9 使用动态规划进行策略评估 53
2.3.10 马尔可夫决策过程控制 56
2.3.11 策略迭代 58
2.3.12 价值迭代 61
2.3.13 策略迭代与价值迭代的区别 63
2.3.14 马尔可夫决策过程中的预测和控制总结 66
2.4 关键词 67
2.5 习题 68
2.6 面试题 69
参考文献 69
第3 章表格型方法 70
3.1 马尔可夫决策过程 70
3.1.1 有模型71
3.1.2 免模型72
3.1.3 有模型与免模型的区别 73
3.2 Q 表格 73
3.3 免模型预测 77
3.3.1 蒙特卡洛方法 77
3.3.2 时序差分方法 80
3.3.3 动态规划方法、蒙特卡洛方法以及时序差分方法的自举和采样 86
3.4 免模型控制 88
3.4.1 Sarsa：同策略时序差分控制 91
3.4.2 Q 学习：异策略时序差分控制 94
3.4.3 同策略与异策略的区别 97
3.5 使用Q 学习解决悬崖寻路问题 98
3.5.1 CliffWalking-v0 环境简介 98
3.5.2 强化学习基本接口 100
3.5.3 Q 学习算法 102
3.5.4 结果分析 103
3.6 关键词 104
3.7 习题105
3.8 面试题 105
参考文献 105
第4 章策略梯度 106
4.1 策略梯度算法 106
4.2 策略梯度实现技巧 115
4.2.1 技巧1：添加基线 115
4.2.2 技巧2：分配合适的分数 117
4.3 REINFORCE：蒙特卡洛策略梯度 119
4.4 关键词 125
4.5 习题125
4.6 面试题 125
参考文献 126
第5 章近端策略优化 127
5.1 从同策略到异策略 127
5.2 近端策略优化 133
5.2.1 近端策略优化惩罚 134
5.2.2 近端策略优化裁剪 135
5.3 关键词 138
5.4 习题139
5.5 面试题 139
参考文献 139
第6 章深度Q 网络 140
6.1 状态价值函数 140
6.2 动作价值函数 145
6.3 目标网络 150
6.4 探索152
6.5 经验回放 154
6.6 深度Q 网络算法总结156
6.7 关键词 157
6.8 习题158
6.9 面试题 159
参考文献 159
第7 章深度Q 网络进阶技巧 160
7.1 双深度Q 网络 160
7.2 竞争深度Q 网络 162
7.3 优先级经验回放 165
7.4 在蒙特卡洛方法和时序差分方法中取得平衡 166
7.5 噪声网络 167
7.6 分布式Q 函数 168
7.7 彩虹170
7.8 使用深度Q 网络解决推车杆问题 172
7.8.1 CartPole-v0 简介 172
7.8.2 深度Q 网络基本接口 173
7.8.3 回放缓冲区175
7.8.4 Q 网络 175
7.8.5 深度Q 网络算法 176
7.8.6 结果分析 178
7.9 关键词 179
7.10 习题 180
7.11 面试题 180
参考文献 180
第8 章针对连续动作的深度Q 网络 181
8.1 方案1：对动作进行采样182
8.2 方案2：梯度上升 182
8.3 方案3：设计网络架构 182
8.4 方案4：不使用深度Q 网络 183
8.5 习题184
第9 章演员-评论员算法 185
9.1 策略梯度回顾 185
9.2 深度Q 网络回顾 186
9.3 演员-评论员算法 187
9.4 优势演员-评论员算法 188
9.5 异步优势演员-评论员算法 190
9.6 路径衍生策略梯度 191
9.7 与生成对抗网络的联系 195
9.8 关键词 196
9.9 习题196
9.10 面试题 196
第 10 章深度确定性策略梯度 197
10.1 离散动作与连续动作的区别 197
10.2 深度确定性策略梯度199
10.3 双延迟深度确定性策略梯度 203
10.4 使用深度确定性策略梯度解决倒立摆问题 205
10.4.1 Pendulum-v1 简介 205
10.4.2 深度确定性策略梯度基本接口 206
10.4.3 Ornstein-Uhlenbeck 噪声 207
10.4.4 深度确定性策略梯度算法 208
10.4.5 结果分析209
10.5 关键词 211
10.6 习题 211
10.7 面试题 211
参考文献 211
第 11 章稀疏奖励212
11.1 设计奖励 212
11.2 好奇心 214
11.3 课程学习 216
11.4 分层强化学习 219
11.5 关键词 221
11.6 习题 222
参考文献 222
第 12 章模仿学习223
12.1 行为克隆 223
12.2 逆强化学习 226
12.3 第三人称视角模仿学习 231
12.4 序列生成和聊天机器人 232
12.5 关键词 233
12.6 习题 233
参考文献 234
第 13 章AlphaStar 论文解读 235
13.1 AlphaStar 以及背景简介 235
13.2 AlphaStar 的模型输入和输出是什么呢？——环境设计 235
13.2.1 状态（网络的输入） 236
13.2.2 动作（网络的输出） 236
13.3 AlphaStar 的计算模型是什么呢？——网络结构 237
13.3.1 输入部分237
13.3.2 中间过程239
13.3.3 输出部分239
13.4 庞大的AlphaStar 如何训练呢？——学习算法 240
13.4.1 监督学习240
13.4.2 强化学习241
13.4.3 模仿学习242
13.4.4 多智能体学习/自学习 243
13.5 AlphaStar 实验结果如何呢？——实验结果 243
13.5.1 宏观结果243
13.5.2 其他实验（消融实验） 244
13.6 关于AlphaStar 的总结 245
参考文献 245
内容摘要
强化学习作为机器学习及人工智能领域的一种重要方法，在游戏、自动驾驶、机器人路线规划等领域得到了广泛的应用。
本书结合了李宏毅老师的“深度强化学习”、周博磊老师的“强化学习纲要”、李科浇老师的“世界冠军带你从零实践强化学习”公开课的精华内容，在理论严谨的基础上深入浅出地介绍马尔可夫决策过程、蒙特卡洛方法、时序差分方法、Sarsa、Q 学习等传统强化学习算法，以及策略梯度、近端策略优化、深度Q 网络、深度确定性策略梯度等常见深度强化学习算法的基本概念和方法，并以大量生动有趣的例子帮助读者理解强化学习问题的建模过程以及核心算法的细节。
此外，本书还提供习题解答以及Python 代码实现，可以让读者进行端到端、从理论到轻松实践的全生态学习，充分掌握强化学习算法的原理并能进行实战。
本书适合对强化学习感兴趣的读者阅读，也可以作为相关课程的配套教材。
主编推荐
（1）萃取强化学习热门公开课精华的课程伴侣！
对李宏毅“深度强化学习”、周博磊“强化学习纲要”和李科浇“世界冠军带你从零实践强化学习”3门累积播放过百万的公开课进行内容精选和公式推导，对较难理解的知识点进行重点讲解和补充强化，方便读者边看视频边查阅学习。
（2）GitHub下载量过万的开源教程，迭代升级的入门指南！
本“蘑菇书”系中科院王琦、清华杨毅远、北大江季3位Datawhale成员继“南瓜书”《机器学习公式详解》后第2本自学笔记，开源教程发布于GitHub不到10个月，已有1.1万下载量及3.3k Star数。本“蘑菇书”吸收读者对于开源教程上百次的反馈，利用简单生动的例子解释强化学习概念，对重难点公式详细推导、分析，设置原创关键词、习题和面试题，配有Python实现代码，方便读者轻松入门。
（3）原课程作者 李宏毅、周博磊、李科浇，以及强化学习领域 汪军、张伟楠、李升波、胡裕靖亲笔推荐！
（4）4项配套资源，让你收获满满！
可下载Python实现代码；可下载习题和面试题答案；学习交流服务。（购买本书后在“资源与支持”页获取）
媒体评论
当第一次看到“Easy-RL”时，我的第一个想法是：这群人把强化学习的知识整理得真好，不仅有理论说明，还加上了程序实例，同学们以后可以直接读这套教程，这样我上课也就不用再讲强化学习的部分了。
——李宏毅 台湾大学副教授
以强化学习为代表的机器智能决策是人工智能的重要方向之一，希望未来更多优秀的同学可以通过这本教程和强化学习的公开课，开启自己的研究之旅，实现类似于 AlphaGo 系列的开创性工作。
——周博磊 加利福尼亚大学洛杉矶分校（UCLA）助理教授
我发现这本书不仅是一个笔记合集，编著者有重点地梳理了理论，并配备了难度适中的习题实践和面试题供读者参考。我相信这本书的出版对于刚接触强化学习的学生，以及准备转行的在职人员都会有帮助。
——李科浇 飞桨强化学习PARL 团队核心成员，百度高级研发工程师
这本书为强化学习的初学者和爱好者提供了一份难得的、可快速入门的学习和研究资料，相信读者会从这本书中得到课堂之外、实用之内和兴趣之中的前沿学术成果的应用知识。
——汪军 伦敦大学学院（UCL）计算机科学系教授
由于三位编著者都是开源社区 Datawhale 的成员，在这本书开源过程中得到了学习者的反馈，因此这本书更能从学习者的视角行文。全书以简洁的语言介绍强化学习的基础知识以及深度强化学习的内容，让初学者能够以轻快的步伐入门强化学习。
——张伟楠，上海交通大学计算机科学与工程系副教授、博士生导师
这本书以生动形象的语言、深入浅出的逻辑，介绍了一系列基本的强化学习算法，并结合丰富有趣的经典案例讲解代码实践，为强化学习初学者提供了一套可快速上手的学习资料。
——李升波，清华大学车辆与运载学院长聘教授、博士生导师
整本书的章节安排非常合理，前后章节环环相扣，既包含初学者必须掌握的关键知识点，也包含强化学习的前沿技术动态，展现出强化学习清晰的发展脉络。
——胡裕靖，网易伏羲强化学习研究组负责人
— 没有更多了 —
以下为对购买帮助不大的评价