揭秘深度强化学习 人工智能机器学习技术丛书

图书标准信息

• 作者 彭伟 著
• 出版社 中国水利水电出版社
• 出版时间 2018-05
• 版次 1
• ISBN 9787517062387
• 定价 89.80元
• 装帧 平装
• 开本 16开
• 纸张 胶版纸
• 页数 360页

【内容简介】

深度强化学习（Deep Reinforcement Learning，DRL）是深度学习算法和强化学习算法的巧妙结合，它是一种新兴的通用人工智能算法技术，也是机器学习的前沿技术，DRL 算法潜力无限，AlphaGo 是目前该算法相当成功的使用案例。DRL 算法以马尔科夫决策过程为基础，是在深度学习强大的非线性函数的拟合能力下构成的一种增强算法。深度强化学习算法主要包括基于动态规划（DP）的算法以及基于策略优化的算法，本书的目的就是要把这两种主要的算法（及设计技巧）讲解清楚，使算法研究人员能够熟练地掌握。

 

《揭秘深度强化学习人工智能机器学习技术丛书》共10 章，首先以AlphaGo 在围棋大战的伟大事迹开始，引起对人工智能发展和现状的介绍，进而介绍深度强化学习的基本知识。然后分别介绍了强化学习（重点介绍蒙特卡洛算法和时序差分算法）和深度学习的基础知识、功能神经网络层、卷积神经网络（CNN）、循环神经网络（RNN），以及深度强化学习的理论基础和当前主流的算法框架。最后介绍了深度强化学习在不同领域的几个应用实例。引例、基础知识和实例相结合，方便读者理解和学习。

 

《揭秘深度强化学习 人工智能机器学习技术丛书》内容丰富，讲解全面、语言描述通俗易懂，是深度强化学习算法入门的优选。本书适合计算机专业本科相关学生、人工智能领域的研究人员以及所有对机器学习和人工智能算法感兴趣的人员。

 

 

【作者简介】

彭伟，AvatarWorks人工智能实验室研究员，电子科技大学EE学士，厦门大学计算机硕士，具有良好的软硬件能力。目前主要从事人工智能、机器学习算法的研究。主要的项目经历包括视觉目标跟踪、行人检测、目标检测、3D动画风格传输、虚拟机器人行为系统等，具有丰富的实战经验。

【目录】

第1章  深度强化学习概览 

 

1.1  什么是深度强化学习？ 

 

1.1.1  俯瞰强化学习 

 

1.1.2  来一杯深度学习 

 

1.1.3  Hello，深度强化学习 

 

1.2  深度强化学习的学习策略 

 

1.3  本书的内容概要 

 

参考文献 

 

第2章  强化学习基础 

 

2.1  真相--经典的隐马尔科夫模型（HMM） 

 

2.1.1  HMM引例 

 

2.1.2  模型理解与推导 

 

2.1.3  隐马尔科夫应用举例 

 

2.2  逢考必过—马尔科夫决策过程（MDP） 

 

2.2.1  MDP生活化引例 

 

2.2.2  MDP模型 

 

2.2.3  MDP模型引例 

 

2.2.4  模型理解 

 

2.2.5  探索与利用 

 

2.2.6  值函数和动作值函数 

 

2.2.7  基于动态规划的强化问题求解 

 

2.3  糟糕，考试不给题库—无模型强化学习 

 

2.3.1  蒙特卡洛算法 

 

2.3.2  时序差分算法 

 

2.3.3  异步强化学习算法 

 

2.4  学霸来了--强化学习之模仿学习

 

2.4.1  模仿学习（Imitation Learning） 

 

2.4.2  逆强化学习 

 

本章总结 

 

参考

 

第3章  深度学习基础 

 

3.1 深度学习简史

 

3.1.1  神经网络发展史 

 

3.1.2  深度学习的分类 

 

3.1.3  深度学习的应用 

 

3.1.4  深度学习存在的问题 

 

3.2 深度学习基础概念 

 

3.2.1  深度学习总体感知 

 

3.2.2  神经网络的基本组成 

 

3.2.3  深度学习训练 

 

3.2.4  梯度下降法 

 

3.2.5  反向传播算法（BP） 

 

3.3 数据预处理 

 

3.3.1  主成分分析（PCA）

 

3.3.2  独立成分分析（ICA）

 

3.3.3  数据白化处理 

 

3.4  深度学习硬件基础 

 

3.4.1  深度学习硬件基础 

 

3.4.2  GPU简介 

 

3.4.3  CUDA编程 

 

本章总结 

 

参考

 

第4章  功能神经网络层 

 

4.1  激活函数单元 

 

4.2  池化层Pooling layer 

 

4.3  参数开关Dropout 

 

4.4  批量归一化层（Batch normalization layer） 

 

4.5  全连接层

 

4.6  卷积神经网络

 

4.7  全卷积神经网络 

 

4.8  循环（递归）神经网络（RNN）

 

4.9  深度学习的 

 

本章总结 

 

参考

 

第5章  卷积神经网络（CNN） 

 

5.1 卷积神经网络 CNN 基础 

 

5.1.1  卷积神经网络的历史 

 

5.1.2  卷积神经网络的核心 

 

5.2  卷积神经网络 CNN 结构 

 

5.2.1  深度卷积神经网络CNN 

 

5.2.2  深度卷积神经网络CNN可视化 

 

5.3  经典卷积神经网络架构分析 

 

5.3.1  一切的开始--LeNet 

 

5.3.2  王者回归--AlexNet 

 

5.3.3  起飞的时候--VGG 

 

5.3.4  致敬经典GoogLeNet 

 

5.3.5  没有最深只有更深--ResNet

 

5.4   对抗网络 

 

5.4.1  对抗网络（GAN） 

 

5.4.2  WGAN 

 

5.5  RCNN 

 

5.6  CNN的应用实例 

 

本章总结 

 

参考

 

第6章  循环神经网络（RNN） 

 

6.1 RNN概览 

 

6.2  长期依赖（Long-Term Dependencies）问题 

 

6.3  LSTM 的变体 

 

本章总结 

 

参考

 

第7章：如何写自己的CNN—C语言实现深度学习 

 

7.1  如何写自己的CMake文件

 

7.2  如何写自己神经网络 

 

7.2.1  激活函数 

 

7.2.2  池化函数 

 

7.2.3  全连接层 

 

7.3  卷积神经网络

 

7.3.1  CNN网络的构建 

 

7.3.2  CNN前向传播 

 

7.3.3  CNN的反向传播 

 

7.4  文件解析

 

本章总结 

 

第8章  深度强化学习 

 

8.1  初识深度强化学习 

 

8.1.1  深度强化学习概览 

 

8.1.2  记忆回放（Memory-Replay）机制

 

8.1.3  蒙特卡罗搜索树 

 

8.2  深度强化学习（DRL）中的值函数算法 

 

8.2.1  DRL中值函数的作用 

 

8.2.2  DRL中值函数理论推导 

 

8.3  深度强化学习中的策略梯度（Policy Gradient） 

 

8.3.1  策略梯度的作用和优势 

 

8.3.2  策略梯度的理论推导 

 

8.3.3  REINFORCE算法 

 

8.3.4  策略梯度的优化算法 

 

8.3.5  策略子－评判算法（Actor-Critic）

 

8.4  深度强化学习网络结构 

 

参考 

 

第9章 深度强化学习算法框架 

 

9.1  深度Q学习 

 

9.2  双Q学习 

 

9.3  异步深度强化学习 

 

9.4  异步优越性策略子-评价算法 

 

9.5  DDPG 算法： 

 

9.6  值迭代网络 

 

本章总结 

 

参考 

 

第10章  深度强化学习应用实例 

 

10.1  Flappy Bird 应用 

 

10.2  Play Pong 应用 

 

10.3  深度地形-自适应应用（Deep Terrain-adaptive应用） 

 

10.4  AlphaGo 254

 

10.4.1  独立算法的研究部分

 

10.4.2  AlphaGo算法 

 

本章总结 

 

参考 

 

附录： 常用的深度学习框架 

 

F.1. 谷歌TensorFlow 

 

F.1.1  TensorFlow 简介

 

F.1.2  TensorFlow 基础 

 

F.2  轻量级MXNet 

 

F.2.1  MXnet介绍 

 

F.2.2  MXnet基础 

 

F.3  来至UCLA 的Caffe 

 

F.3.1  Caffe 简介 

 

F3.2  Caffe基础 

 

F.4  悠久的 Theano 

 

F.4.1  Theano简介 

 

F.4.2  Theano基础 

 

F.5 30s  入门的Keras 

 

参考