深度学与pytorch实战 人工智能 张伟振

深度学习及神经网络算法涵盖较广的计算机和数学领域，如果使用PyTorch、TensorFlow等深度框架，并记住它们的使用规则，可能能够应付大部分的情况并绕过许多细节，但知其然而不知其所以然，显然只是学习深度学习的步，通用的深度学习框架并不总是能满足所有的需求，如果要从使用到扩展乃至创造，就需要掌握远比简单使用更多的知识和细节。
得益于PyTorch、TensorFlow等深度学习框架都是开源的，有些时候通过发掘它们的源码来进阶相对简单，例如我想知道PyTorch是如何实现Adam的，可以将光标移到torch.optim.Adam类名上，使用快捷键Ctrl B或Ctrl 鼠标跳转到声明，便可以发现它调用了torch.optim.functional.adam函数，同样进入torch.optim.functional.adam，在这里可以发现Adam的算法实现。但这种方法并不总是能得到想知道的答案（实际上，大部分时候都无法奏效）。
作为一个成熟的框架，PyTorch 1.7.0的源码已经难以全部阅读（C  /Python代码行数都在十万量级），且出于程序健壮性的考虑，其源码含有不少条件判断语句，对阅读也会造成一定的阻碍，因此对读者而言阅读本书中的代码和解读相比直接阅读深度学习框架的源码应该效率更高。在有自研深度框架的经验后，使用这些成熟框架显然会事半功倍，而且也能知道当它们无法满足要求时如何扩展。
深度学习理论由来已久，但限于计算机的运算速度近几年才被推上风口浪尖。深度学习中的大量运算往往以矩阵或张量为载体，它们的运算有高度的并行性，因此能够在具有许多计算核心的GPU上被加速，这也是深度学习兴起的现实基础。
如果你曾关注过显卡，那么可能也听说过“CUDA核心”这个名词，NVIDIA介绍一块新显卡时首先会说明它有多少个CUDA核心（或多少个流处理器）。CUDA是NVIDIA公司推出的计算平台，目前主流的深度框架如TensorFlow和PyTorch都是以CUDA为核心，本书也会在介绍深度学习之余介绍它的基本用法，帮助读者全方位地了解深度学习这个领域。
书中包含大量细心编写的代码，带着读者一起思考。本书在重点及难点处配有视频讲解，扫描书中提供的二维码可观看对应章节的视频讲解。
本书绝大多数理论辅以代码实现，同时也建议读者先按照自己对理论的理解编写对应的程序，若有疑问再参考本书的代码。因为编程是不允许对知识模棱两可的，理解有偏差时编写的代码往往会输出显而易见的错误结果甚至直接报错无法运行。换言之，如果能将理论转换为代码，通常对那个概念就有一个初步的认识了。
因作者水平有限，书中难免存在疏漏，敬请读者批评指正。

张伟振
2020年12月

本书源代码

本书按照从理论到实践，从实践到创造的顺序讲解深度学习领域的知识与技术，代码翔实，公式简单易懂。 本书第1章介绍深度学习的概念和目前的形势，第2章介绍Python编程语言基础，第3章使用Python语言计算极限、导数、级数等数学问题，第4章讲解深度学习的基本原理与PyTorch框架的基本使用，第5章和第6章详细讲述经典网络结构CNN和RCNN，第7~9章介绍自研深度学习框架，并详细讨论之前忽略的深度学习底层实现上的算法和细节，第10章介绍目前机器学习的前沿无监督学习，第11章主要讲解深度学习模型以Web应用形式部署的技术。 本书适合有高等数学基础、希望了解深度学习领域知识和技术的初学者阅读，也可作为相关培训机构的参考用书。

张伟振，主要从事系统架构设计、深度学习在计算机视觉任务中的应用方面的研究，在计算机图形学、大型软件架构设计、后台开发、桌面应用、游戏、Web应用等领域亦有较丰富经验。

第1章人工智能的新篇章

1.1引言

1.2过去人工智能的困境

1.3神经网络

1.4我们都是炼丹师

1.4.1机器的力量

1.4.2遍地开花的深度学习

1.5深度监督学习三部曲

1.6深度学习框架

1.6.1常见的深度学习框架

1.6.2PyTorch的优势

第2章Python基础（29min）

2.1Python简介

2.1.1Python语言

2.1.2编译器和解释器

2.1.3Python的哲学

2.1.4Python的优缺点

2.2Python Hello World

2.2.1安装Python解释器

2.2.2Hello World程序

2.3Python基本语法

2.3.1变量

2.3.2函数

2.3.3基本数据类型

2.3.4条件控制

2.3.5列表

2.3.6错误和异常

2.4标准库

2.4.1math

2.4.2文件读写和os库

2.5Python面向对象

2.5.1花名册

2.5.2使用class关键字声明类

2.5.3限定函数参数的类型

2.5.4静态方法

2.6包和模块 

2.6.1安装第三方库

2.6.2创建包和模块

2.6.3使用第三方库

2.6.4打包Python源代码

2.7开发环境

2.7.1Jupyter Notebook

2.7.2安装PyCharm

第3章实用数学（11min）

3.1线性代数

3.1.1向量

3.1.2矩阵

3.1.3使用矩阵的理由

3.2高等数学

3.2.1函数

3.2.2函数的极限

3.2.3导数

3.2.4导函数

3.2.5泰勒公式

3.2.6偏导数

3.2.7梯度

第4章深度学习原理和PyTorch基础（85min）

4.1深度学习三部曲

4.1.1准备数据

4.1.2定义模型、损失函数和优化器

4.1.3训练模型

4.2PyTorch基础

4.2.1安装 PyTorch

4.2.2导入PyTorch库

4.2.3使用PyTorch进行矩阵运算

4.2.4使用PyTorch定义神经网络模型

4.3神经网络的调优

4.3.1数据与模型的规模匹配

4.3.2特征缩放

4.3.3数据集

第5章卷积神经网络（38min）

5.1卷积

5.1.1矩阵的内积

5.1.2卷积的代码实现

5.2卷积神经网络介绍

5.2.1卷积层

5.2.2池化层

5.2.3在PyTorch中构建卷积神经网络

5.2.4迁移学习

5.2.5梯度消失

5.3目标检测

5.3.1YOLO

5.3.2FasterRCNN

5.3.3在PyTorch中使用FasterRCNN

5.4实用工具

5.4.1图像处理

5.4.2保存与加载模型

5.4.3加载数据

5.4.4GPU加速

5.4.5爬虫

5.4.6GUI编程

第6章序列模型（93min）

6.1循环神经网络

6.1.1原理

6.1.2RNN代码实现

6.1.3长短期记忆

6.1.4在PyTorch中使用循环神经网络

6.2自然语言处理

6.2.1WordEmbedding

6.2.2Transformer

6.2.3在PyTorch中使用Transformer

第7章算法基础

7.1递归

7.2动态规划

7.2.1定义

7.2.2子问题

7.3栈和队列

7.3.1使用递归进行目录遍历

7.3.2调用栈 

7.3.3使用栈进行目录遍历

7.3.4队列

7.3.5使用队列进行目录遍历

7.4树

7.5图

7.5.1有向无环图和计算图

7.5.2邻接表实现图

7.5.3实现计算图

第8章C  基础

8.1C   Hello World

8.1.1C  的优缺点

8.1.2安装C  编译器和开发环境

8.1.3Hello World程序

8.2C   语法基础

8.2.1数据类型和变量

8.2.2常量

8.2.3条件判断

8.2.4运算符

8.2.5循环

8.3函数

8.3.1定义函数

8.3.2标准库

8.3.3指针作函数参数

8.3.4默认参数

8.4数组

8.4.1静态数组

8.4.2动态数组

8.5类和对象

8.5.1类的声明

8.5.2封装

8.5.3示例： 矩阵乘法

8.5.4运算符重载

8.5.5继承

8.5.6静态

8.6指针和引用

8.6.1指针的本质

8.6.2动态内存分配

8.6.3智能指针

8.6.4引用

8.6.5移动语义和右值引用

8.7C  进阶知识

8.7.1断言

8.7.2命名空间

8.7.3头文件

8.7.4C  的编译过程

8.7.5使用第三方库

8.7.6使用MSVC编译器

第9章自研深度学习框架

9.1数据结构

9.1.1张量

9.1.2运算

9.1.3张量求导

9.1.4优化

9.2构建计算图

9.2.1数据结构

9.2.2张量

9.2.3运算

9.2.4测试

9.2.5优化

9.3并行计算

9.3.1GPU的结构

9.3.2CUDA简介

9.3.3安装CUDA

9.3.4CUDA基础知识

9.3.5CUDA编程

9.3.6cuDNN

第10章无监督学习

10.1生成对抗网络

10.2强化学习

10.2.1Policy Base： 尝试并增强终结果正确的一系列行为

10.2.2虚幻引擎入门

第11章案例： 游戏AI

11.1构建模型

11.2准备训练数据

11.3Web应用开发入门

11.3.1计算机网络基础

11.3.2Flask 基础

本书按照从理论到实践，从实践到创造的顺序讲解深度学习领域的知识与技术，代码翔实，公式简单易懂。 本书第1章介绍深度学习的概念和目前的形势，第2章介绍Python编程语言基础，第3章使用Python语言计算极限、导数、级数等数学问题，第4章讲解深度学习的基本原理与PyTorch框架的基本使用，第5章和第6章详细讲述经典网络结构CNN和RCNN，第7~9章介绍自研深度学习框架，并详细讨论之前忽略的深度学习底层实现上的算法和细节，第10章介绍目前机器学习的前沿无监督学习，第11章主要讲解深度学习模型以Web应用形式部署的技术。 本书适合有高等数学基础、希望了解深度学习领域知识和技术的初学者阅读，也可作为相关培训机构的参考用书。

张伟振，主要从事系统架构设计、深度学习在计算机视觉任务中的应用方面的研究，在计算机图形学、大型软件架构设计、后台开发、桌面应用、游戏、Web应用等领域亦有较丰富经验。