神经网络与深度学习

译者序

前言

致谢

作者简介

章神经网络概论1

1.1简介1

1.2神经网络的基本架构3

1.2.1单层计算网络：感知机3

1.2.2多层神经网络13

1.2.3多层网络即计算图15

1.3利用反向传播训练神经网络16

1.4神经网络训练中的实际问题19

1.4.1过拟合问题19

1.4.2梯度消失与梯度爆炸问题22

1.4.3收敛问题22

1.4.4局部最优和伪最优22

1.4.5计算上的挑战23

1.5复合函数的能力之谜23

1.5.1非线性激活函数的重要性25

1.5.2利用深度以减少参数26

1.5.3非常规网络架构27

1.6常见网络架构28

1.6.1浅层模型模拟基础机器学习方法28

1.6.2径向基函数网络29

1.6.3受限玻尔兹曼机29

1.6.4循环神经网络30

1.6.5卷积神经网络31

1.6.6层次特征工程与预训练模型32

1.7不错主题34

1.7.1强化学习34

1.7.2分离数据存储和计算34

1.7.3生成对抗网络35

1.8两个基准35

1.8.1MNIST手写数字数据库35

1.8.2ImageNet数据库36

1.9总结37

1.10参考资料说明37

1.10.1视频讲座38

1.10.2软件资源39

1.11练习39

第2章基于浅层神经网络的机器学习41

2.1简介41

2.2二分类模型的神经架构42

2.2.1复习感知机42

2.2.2最小二乘回归44

2.2.3逻辑回归47

2.2.4支持向量机49

2.3多分类模型的神经架构50

2.3.1多分类感知机51

2.3.2Weston-Watkins支持向量机52

2.3.3多重逻辑回归（softmax分类器）53

2.3.4应用于多分类的分层softmax54

2.4反向传播可以用于特征选择和神经网络的可解释性54

2.5使用自编码器进行矩阵分解55

……