强化学习 人工智能如何知错能改 龚超 等 著

图书标准信息

• 作者 贵宁 著；龚超；王冀；梁霄
• 出版社 化学工业出版社
• 出版时间 2024-08
• 版次 1
• ISBN 9787122452825
• 定价 69.80元
• 装帧 平装
• 开本 32开
• 页数 234页
• 字数 177千字

【内容简介】

“人工智能超入门丛书”致力于面向人工智能各技术方向零基础的读者，内容涉及数据素养、机器学习、视觉感知、情感分析、搜索算法、强化学习、知识图谱、专家系统等方向。本丛书体系完整、内容简洁、语言通俗，综合介绍了人工智能相关知识，并辅以程序代码解决问题，使得零基础的读者能够快速入门。
《强化学习：人工智能如何知错能改》是“人工智能超入门丛书”中的分册，以科普的形式讲解了强化学习的核心知识，内容生动有趣，带领读者走进强化学习的世界。本书包含强化学习方向的基础知识，如动态规划、时序差分等，让读者在开始学习时对强化学习有初步的认识；之后，通过对马尔可夫决策过程及贝尔曼方程的解读，逐渐过渡到强化学习的关键内容；同时，本书也重点解析了策略迭代与价值迭代两种核心算法，也对蒙特卡洛方法、时序差分算法、深度强化学习及基于策略的强化学习算法进行了深度剖析。本书内容结构完整、逻辑清晰、层层递进，并配有相关实例与代码，让读者在阅读学习过程中能够加深理解。
本书适合强化学习及人工智能方向的初学者阅读学习，也可供高等院校人工智能及计算机类专业的师生参考。

【作者简介】

龚超，工学博士，清华大学日本研究中心主任助理，中日创新中心主任研究员，深圳清华大学研究院下一代互联网研发中心核心成员，海口经济学院雅和人居工程学院客座教授。中国高科技产业化研究会理事、中国自动化学会普及工作委员会委员、中国人工智能学会中小学工作委员会委员、中国青少年宫协会特聘专家、未来基因（北京）人工智能研究院首席专家、教育部教育信息化教学应用实践共同体项目特聘专家，多家500强企业数字化转型领域高级顾问。研究方向为人工智能优化算法、人工智能在数字化转型中的应用等。著有15本人工智能相关图书，在国内外期刊上发表文章共计70余篇。 王冀，工学博士，西北工业大学计算机学院助理教授，研究方向为关键数据提取及图像编码，在本领域优秀期刊、会议发表论文20余篇，参与起草行业及团体标准2项，出版专著4部。曾获PCSJ学会WBVC竞赛特别奖、图像信息媒体学会优秀发表奖。 梁霄，中国人民大学附属中学教师，任信息学竞赛教练，本科毕业于清华大学电子工程系，博士毕业于清华大学计算机系。截至2024年6月，指导学生许庭强以世界第一的成绩获得2023国际信息学奥林匹克竞赛金牌，指导学生黄洛天以总分第一名获得2023年APIO国际金牌，指导6人次获得NOI金牌（全部为国家集训队）。此外还开设了多门人工智能相关课程，致力于探索计算机科学的中小学教育。 贵宁，本科毕业于清华大学自动化系，目前在清华大学深圳研究生院智能机器人实验室攻读硕士学位。研究方向集中于鲁棒强化学习及其在机器人领域的应用。在硕士学习期间，专注于强化学习与大模型在机器人技术上的实际应用，积累了丰富的经验。

【目录】

第1章  强化学习概述001
1.1  什么是强化学习002
1.1.1  初识强化学习002
1.1.2  强化学习的关键要素005
1.1.3  监督、无监督与强化学习007
1.2  三条主线009
1.2.1  试错009
1.2.2  动态规划011
1.2.3  时序差分012
1.3  强化学习的方法与应用014
1.3.1  强强联合之深度强化学习014
1.3.2  强化学习的跨界赋能017
1.3.3  强化学习的分类021

第2章  马尔可夫与贝尔曼方程024
2.1  “随机”那些事儿025
2.1.1  概率的基本概念025
2.1.2  网格迷宫的探索031
2.1.3  探索的策略与奖励034
2.1.4  探索的足迹037
2.2  马尔可夫大家族040
2.2.1  马尔可夫过程040
2.2.2  马尔可夫奖励过程043
2.2.3  马尔可夫决策过程044
2.3  贝尔曼方程046
2.3.1  价值函数与动作价值函数046
2.3.2  贝尔曼方程050
2.3.3  贝尔曼很优方程052

第3章  动态规划056
3.1  动态规划基础与环境057
3.1.1  动态规划基础057
3.1.2  环境：冰湖059
3.2  策略迭代算法063
3.2.1  原理063
3.2.2  代码067
3.3  价值迭代算法072
3.3.1  原理072
3.3.2  代码074

第4章  蒙特卡洛078
4.1  随机变量的数字特征080
4.1.1  期望080
4.1.2  方差082
4.2  蒙特卡洛方法与应用083
4.2.1  圆面积的估计084
4.2.2  均值估计087
4.3  蒙特卡洛与强化学习091
4.3.1  原理091
4.3.2  环境：21点101
4.3.3  代码102

第5章  时序差分107
5.1  时序差分108
5.1.1  时序差分基础108
5.1.2  环境：悬崖漫步116
5.2  Sarsa算法118
5.2.1  原理118
5.2.2  代码120
5.3  Q-Learning算法124
5.3.1  原理124
5.3.2  代码127

第6章  深度强化学习134
6.1  DQN入门135
6.1.1  DQN的基本概念135
6.1.2  环境：车杆139
6.2  BP神经网络+强化学习141
6.2.1  原理141
6.2.2  代码145
6.3  卷积神经网络+强化学习 157
6.3.1  原理157
6.3.2  代码162
6.4  DQN的改进167

第7章  策略学习170
7.1  策略梯度算法171
7.1.1  策略梯度原理171
7.1.2  REINFORCE算法173
7.1.3  代码176
7.2  Actor-Critic算法184
7.2.1  原理184
7.2.2  环境：LunarLander189
7.2.3  代码190
7.3  其他基于策略的算法197

附录203
附录A  环境设置与行为探索204
A.1  Gym库与环境设置204
A.2  具有人类偏好的多智能体强化学习206
附录B  博弈与策略209
B.1  什么是博弈209
B.2  混合策略博弈212
B.3  序贯博弈215
B.4  无限博弈与有限博弈216
附录C  收益衡量222
C.1  理性收益：期望价值223
C.2  效用收益：期望效用226
C.3  情感收益：前景理论228