动手学强化学 人工智能 张伟楠//沈键//俞勇
机器学入门书籍，深度学人工智能神经网络前端开发，上海交通大学acm班创始人俞勇教授团队编写，由李航、李沐等多位业内领军人士力荐！
￥ 39.25 4.4折 ￥ 89.9 全新
库存40件
河北保定
认证卖家担保交易快速发货售后保障
作者张伟楠//沈键//俞勇
出版社人民邮电出版社
ISBN9787115584519
出版时间2022-05
版次1
装帧平装
开本16开
页数246页
字数388千字
定价89.9元
货号xhwx_1202617339
上书时间2022-04-18
- 最新上架
商品详情
- 品相描述：全新
- 正版特价新书
- 商品描述
-
主编：
名家作品：上海交通大学acm班创始人俞勇教授、博士生导师张伟楠副教授、apex实验室博士生沈键编写；理论扎实：基于上交大acm班的人工智能专业课程构建强化学的学体系；配套资源丰富：在线代码运行环境在线视频课程在线讨论区在线题配套课件；多位业内大咖力荐：字节跳动人工智能实验室监李航、1986年图灵奖得主johnhopcroft、北京大学数学科学学院统计学教授张志华、伦敦大学学院计算机科学系讲席教授汪军、科学家、动手学深度学作者李沐
目录：
部分 强化学基础
章 初探强化学 2
1.1 简介 2
1.2 什么是强化学 2
1.3 强化学的环境 4
1.4 强化学的目标 4
1.5 强化学中的数据 5
1.6 强化学的独特 6
1.7 小结 6
第 2 章 多臂老虎机问题 7
2.1 简介 7
2.2 问题介绍 7
2.2.1 问题定义 7
2.2.2 形式化描述 8
2.2.3 累积懊悔 8
2.2.4 估计期望奖励 8
2.3 探索与利用的衡 10
2.4 -贪婪算 11
2.5 上置信界算 14
2.6 汤普森采样算 16
2.7 小结 18
2.8 参文献 18
第 3 章 马尔可夫决策过程 19
3.1 简介 19
3.2 马尔可夫过程 19
3.2.1 过程 19
3.2.2 马尔可夫质 19
3.2.3 马尔可夫过程 20
3.3 马尔可夫奖励过程 21
3.3.1 回报 21
3.3.2 价值函数 22
3.4 马尔可夫决策过程 24
3.4.1 策略 25
3.4.2 状态价值函数 25
3.4.3 动作价值函数 25
3.4.4 贝尔曼期望方程 25
3.5 蒙特卡洛方 28
3.6 占用度量 31
3.7 很优策略 32
3.8 小结 33
3.9 参文献 33
第 4 章 动态规划算 34
4.1 简介 34
4.2 悬崖漫步环境 34
4.3 策略迭代算 36
4.3.1 策略评估 36
4.3.2 策略提升 36
4.3.3 策略迭代 37
4.4 价值迭代算 40
4.5 冰湖环境 42
4.6 小结 45
4.7 扩展阅读：收敛证明 45
4.7.1 策略迭代 45
4.7.2 价值迭代 45
4.8 参文献 46
第 5 章 时序差分算 47
5.1 简介 47
5.2 时序差分 48
5.3 sarsa 算 48
5.4 多步 sarsa 算 53
5.5 q-learning 算 56
5.6 小结 60
5.7 扩展阅读：q-learning 收敛证明 61
5.8 参文献 62
第 6 章 dyna-q 算 63
6.1 简介 63
6.2 dyna-q 63
6.3 dyna-q 代码实践 64
6.4 小结 69
6.5 参文献 69
第二部分 强化学
第 7 章 dqn算 72
7.1 简介 72
7.2 车杆环境 72
7.3 dqn 73
7.3.1 经验回放 74
7.3.2 目标网络 74
7.4 dqn代码实践 75
7.5 以图像作为输入的dqn算 79
7.6 小结 80
7.7 参文献 80
第 8 章 dqn改进算 81
8.1 简介 81
8.2 double dqn 81
8.3 double dqn代码实践 82
8.4 dueling dqn 88
8.5 dueling dqn代码实践 90
8.6 小结 93
8.7 扩展阅读：对q值过高估计的定量分析 93
8.8 参文献 94
第 9 章 策略梯度算 95
9.1 简介 95
9.2 策略梯度 95
9.3 reinforce 96
9.4 reinforce代码实践 97
9.5 小结 100
9.6 扩展阅读：策略梯度证明 100
9.7 参文献 102
0 章 actor-critic算 103
10.1 简介 103
10.2 actor-critic 103
10.3 actor-critic代码实践 105
10.4 小结 108
10.5 参文献 108
1 章 trpo算 109
11.1 简介 109
11.2 策略目标 109
11.3 近似求解 111
11.4 共轭梯度 112
11.5 线搜索 112
11.6 广义优势估计 113
11.7 trpo代码实践 114
11.8 小结 122
11.9 参文献 123
2 章 ppo算 124
12.1 简介 124
12.2 ppo-惩罚 124
12.3 ppo-截断 125
12.4 ppo代码实践 125
12.5 小结 131
12.6 参文献 132
3 章 ddpg算 133
13.1 简介 133
13.2 ddpg 133
13.3 ddpg代码实践 135
13.4 小结 140
13.5 扩展阅读：确定策略梯度定理的证明 140
13.6 参文献 141
4 章 sac算 142
14.1 简介 142
14.2 优选熵强化学 142
14.3 soft策略迭代 143
14.4 sac 143
14.5 sac代码实践 145
14.6 小结 154
14.7 参文献 155
第三部分 强化学前沿
5 章 模仿学 158
15.1 简介 158
15.2 行为克隆 159
15.3 生成对抗模仿学 159
15.4 代码实践 160
15.4.1 生成专家数据 160
15.4.2 行为克隆的代码实践 163
15.4.3 生成对抗模仿学的代码实践 165
15.5 小结 167
15.6 参文献 168
6 章 模型预测控制 169
16.1 简介 169
16.2 打靶 169
16.2.1 打靶 170
16.2.2 交熵方 170
16.3 pets算 171
16.4 pets算实践 172
16.5 小结 179
16.6 参文献 179
7 章 基于模型的策略优化 180
17.1 简介 180
17.2 mbpo算 180
17.3 mbpo代码实践 181
17.4 小结 192
17.5 拓展阅读：mbpo理论分析 192
17.5.1 能提升的单调保障 192
17.5.2 模型推演长度 192
17.6 参文献 193
8 章 离线强化学 194
18.1 简介 194
18.2 批量 q-learning算 195
18.3 保守 q-learning算 197
18.4 cql代码实践 199
18.5 小结 208
18.6 扩展阅读 208
18.7 参文献 210
9 章 目标导向的强化学 211
19.1 简介 211
19.2 问题定义 211
19.3 her算 212
19.4 her代码实践 213
19.5 小结 221
19.6 参文献 221
第 20 章 多智能体强化学入门 222
20.1 简介 222
20.2 问题建模 223
20.3 多智能体强化学的基本求解范式 223
20.4 ippo算 223
20.5 ippo代码实践 224
20.6 小结 228
20.7 参文献 229
第 21 章 多智能体强化学 230
21.1 简介 230
21.2 maddpg算 230
21.3 maddpg代码实践 232
21.4 小结 240
21.5 参文献 240
结与展望 241
结 241
展望：克服强化学的落地挑战 241
中英文术语对照表与符号表 244
中英文术语对照表 244
符号表 246
内容简介：
本书系统地介绍了强化学的和实现，是一本理论扎实、落地强的图书。本书包含3个部分：部分为强化学基础，讲解强化学的基础概念和表格型强化学方；第二部分为强化学，讨论深度强化学的思维方式、深度价值函数和深度策略学方；第三部分为强化学前沿，介绍学术界在深度强化学领域的主要关注方向和前沿算。同时，本书提供配套的线上代码实践台，展示源码的编写和运行过程，让读者进一步掌握强化学算的运行机制。本书理论与实践并重，在介绍强化学理论的同时，辅之以线上代码实践台，帮助读者通过实践加深对理论的理解。本书适合对强化学感兴趣的高校学生、教师，以及相关行业的开发和研究人员阅读、实践。
作者简介：
张伟楠，上海交通大学副教授，博士生导师，acm班机器学、强化学课程授课老师，吴文俊人工智能很好青年奖、达摩院青橙奖得主，获得协“青年人才托举工程”支持。他的科研领域包括强化学、数据挖掘、知识图谱、深度学以及这些技术在系统、搜索引擎、文本分析等场景中的应用。他在靠前会议和期刊上发表了100余篇相关领域的学术，于2016年在英国伦敦大学学院（ucl）计算机系获得博士。沈键，上海交通大学apex实验室博士生，师从俞勇教授，研究方向为深度学、强化学和教育数据挖掘。在攻读博士期间，他以作者身份发表机器学靠前会议neuri、aaai，参与发表多篇机器学和数据挖掘靠前会议（包括icml、ijcai、sigir、kdd、aistats等），并担任多个靠前会议和sci学术期刊的审稿人。俞勇，享受院特殊津贴专家，教学名师，上海交通大学特聘教授，apex实验室主任，上海交通大学acm班创始人。俞勇教授曾获得“高层次人才特殊支持计划”教学名师、“上海市教学名师奖”“师德标兵”“上海交通大学校长奖”和“受学生欢迎教师”等荣誉。他于2018年创办了伯禹人工智能学院，在上海交通大学acm班人工智能专业课程体系的基础上，对ai课程体系进行创新，致力于培养很好的ai算工程师和研究员。
精彩书评：
本书系统地介绍了强化学的基本技术，能够帮助读者学强化学的基本概念及其代表方，并涉及模仿学、多智能体强化学等前沿技术。作者搭建了与本书内容配套的在线实践学台，读者能够在线运行代码并与同行交流、讨论，加强对强化学技术的理解和掌握。本书凝结了强化学领域的知识精华，是人工智能算工程师的好书。——李航字节跳动人工智能实验室监本书的一个重要特点是实现了理论与代码的有机结合，学生在学强化学的主要概念时，可以方便地使用这些代码。本书得到了上海交通大学学生的广泛。——johnhopcroft1986年acm图灵奖得主、上海交通大学校长特别顾问强化学对初学者来说有较高的学门槛，容易让人却步。本书给出了各个算的可执行代码，帮助读者快速上手尝试，拉近了讲授内容与读者的距离，是入门强化学的参教材。——俞扬大学人工智能学院教授本书源自上海交通大学acm班的人工智能专业课程。上海交通大学acm班创始人俞勇教授及其团队将其在人工智能领域多年深耕的成果汇集成书，并精心开发了满足年轻人才学需求的多种学资源，将理论知识、在线代码、项目实训有机融合，能够帮助读者从零搭建起强化学的理论与工程体系。本书真正从社会需求出发，为人工智能领域相关专业的人才培养提供了很好有价值的参，也为高校学生和行业从业人员深入研究、创新强化学技术指明了路径。——张志华北京大学数学科学学院统计学教授在几次举办rlchina强化学暑期夏令营的过程中，我感受到中国学生对强化学这一学科的学热情十分高涨，每次活动的参与人数都过万。但是，目前中国在强化学领域的专业源紧缺，导致学生对强化学理论知识的掌握不够到位；强化学实验室资源不足，学生在实验过程中容易遇到各种难以解决的问题，但缺少有效提升实验效率的标程或沟通渠道。本书可以让学生在理论学与代码实践之间无缝衔接，这很好地解决了学和研究强化学的痛点。在此将本书给每一位学和研究强化学的学生和教师。——汪军伦敦大学学院计算机科学系讲席教授强化学是来的热门方向，突破方和亮眼应用频出。本书将理论与实践相结合，既讲解了算，又展示了代码实现，是一本的强化学教科书，强烈！——李沐科学家
— 没有更多了 —
以下为对购买帮助不大的评价