人工智能算法 卷3 深度学习和神经网络（全彩印刷）

图书标准信息

• 作者 [美]杰弗瑞·希顿（Jeffery Heaton） 著
• 出版社 人民邮电出版社
• 出版时间 2021-03
• 版次 1
• ISBN 9787115552310
• 定价 89.90元
• 装帧 其他
• 开本 其他
• 纸张 胶版纸
• 页数 264页
• 字数 241千字

【内容简介】

自早期以来，神经网络就一直是人工智能的支柱。现在，令人兴奋的新技术（例如深度学习和卷积）正在将神经网络带入一个全新的方向。在本书中，我们将演示各种现实世界任务中的神经网络，例如图像识别和数据科学。我们研究了当前的神经网络技术，包括ReLU 激活、随机梯度下降、交叉熵、正则化、Dropout 及可视化等。

【作者简介】

[美] 杰弗瑞·希顿（Jeffery Heaton）他既是一位活跃的技术博主、开源贡献者，也是十多本图书的作者。他的专业领域包括数据科学、预测建模、数据挖掘、大数据、商务智能和人工智能等。他拥有华盛顿大学信息管理学硕士学位，是IEEE的高级会员、Sun认证Java程序员、开源机器学习框架Encog的首席开发人员。

【目录】

第 1 章　神经网络基础 1

1.1　神经元和层　2

1.2　神经元的类型　5

1.2.1　输入和输出神经元　6

1.2.2　隐藏神经元　7

1.2.3　偏置神经元　7

1.2.4　上下文神经元　8

1.2.5　其他神经元类型　10

1.3　激活函数　10

1.3.1　线性激活函数　10

1.3.2　阶跃激活函数　11

1.3.3　S 型激活函数12

1.3.4　双曲正切激活函数　13

1.4　修正线性单元（ReLU）13

1.4.1　Softmax 激活函数　14

1.4.2　偏置扮演什么角色？　17

1.5　神经网络逻辑　19

1.6　本章小结　22

第　2 章 自组织映射　23

2.1　自组织映射　24

2.1.1　理解邻域函数　27

2.1.2　墨西哥帽邻域函数　30

2.1.3　计算 SOM 误差　32

2.2　本章小结　33

第　3 章 Hopfield 网络和玻尔兹曼机34

3.1　Hopfield 神经网络　34

3.1.1　训练 Hopfield 网络　37

3.2　Hopfield-Tank 网络　41

3.3　玻尔兹曼机　42

3.3.1　玻尔兹曼机概率　44

3.4　应用玻尔兹曼机　45

3.4.1　旅行商问题　45

3.4.2　优化问题　48

3.4.3　玻尔兹曼机训练　51

3.5　本章小结　51

第　4 章 前馈神经网络　53

4.1　前馈神经网络结构　54

4.1.1　用于回归的单输出神经网络　54

4.2　计算输出　56

4.3　初始化权重　60

4.4　径向基函数网络　63

4.4.1　径向基函数　64

4.4.2　径向基函数网络　65

4.5　规范化数据　67

4.5.1　1-of-N 编码　68

4.5.2　范围规范化　69

4.5.3　Z 分数规范化70

4.5.4　复杂规范化　73

4.6　本章小结　75

第　5 章 训练与评估　77

5.1　评估分类　78

5.1.1　二值分类　79

5.1.2　多类分类　84

5.1.3　对数损失　86

5.1.4　多类对数损失　88

5.2　评估回归　88

5.3　模拟退火训练　89

5.4　本章小结　92

第　6 章 反向传播训练　93

6.1　理解梯度　93

6.1.1　什么是梯度　94

6.1.2　计算梯度　96

6.2　计算输出节点增量　98

6.2.1　二次误差函数　98

6.2.2　交叉熵误差函数　99

6.3　计算剩余节点增量　99

6.4　激活函数的导数　100

6.4.1　线性激活函数的导数　100

6.4.2　Softmax 激活函数的导数　100

6.4.3　S 型激活函数的导数　101

6.4.4　双曲正切激活函数的导数　102

6.4.5　ReLU 激活函数的导数　102

6.5　应用反向传播　103

6.5.1　批量训练和在线训练　104

6.5.2　随机梯度下降　105

6.5.3　反向传播权重更新　105

6.5.4　选择学习率和动量　106

6.5.5　Nesterov 动量　107

6.6　本章小结　108

第　7 章 其他传播训练　110

7.1　弹性传播　110

7.2　RPROP 参数　111

7.3　数据结构　113

7.4　理解 RPROP　114

7.4.1　确定梯度的符号变化　114

7.4.2　计算权重变化　115

7.4.3　修改更新值　115

7.5　Levenberg-Marquardt 算法　116

7.6　Hessian 矩阵的计算　119

7.7　具有多个输出的 LMA　120

7.8　LMA 过程概述　122

7.9　本章小结　122

第　8 章 NEAT，CPPN 和 HyperNEAT　124

8.1　NEAT 网络　125

8.1.1　NEAT 突变　128

8.1.2　NEAT 交叉　129

8.1.3　NEAT 物种形成　133

8.2　CPPN 网络　134

8.2.1　CPPN 表型　135

8.3　HyperNEAT 网络　138

8.3.1　HyperNEAT 基板　139

8.3.2　HyperNEAT 计算机视觉　140

8.4　本章小结　142

第　9 章 深度学习　143

9.1　深度学习组件　143

9.2　部分标记的数据　144

9.3　修正线性单元　145

9.4　卷积神经网络　145

9.5　神经元 Dropout　146

9.6　GPU 训练　147

9.7　深度学习工具　149

9.7.1　H2O　149

9.7.2　Theano　150

9.7.3　Lasagne 和 NoLearn　150

9.7.4　ConvNetJS　152

9.8　深度信念神经网络　152

9.8.1　受限玻尔兹曼机　154

9.8.2　训练 DBNN　155

9.8.3　逐层采样　157

9.8.4　计算正梯度　157

9.8.5　吉布斯采样　159

9.8.6　更新权重和偏置　160

9.8.7　DBNN 反向传播　161

9.8.8　深度信念应用　162

9.9　本章小结　164

第　10 章 卷积神经网络　165

10.1　LeNET-5　166

10.2　卷积层　168

10.3　最大池层　170

10.4　稠密层　172

10.5　针对 MNIST 数据集的 ConvNets　172

10.6　本章小结　174

第　11 章 剪枝和模型选择　175

11.1　理解剪枝　176

11.1.1　剪枝连接　176

11.1.2　剪枝神经元　176

11.1.3　改善或降低表现　177

11.2　剪枝算法　177

11.3　模型选择　179

11.3.1　网格搜索模型选择　180

11.3.2　随机搜索模型选择　183

11.3.3　其他模型选择技术　184

11.4　本章小结　185

第　12 章 Dropout 和正则化　186

12.1　L1 和 L2 正则化　187

12.1.1　理解 L1 正则化　188

12.1.2　理解 L2 正则化　189

12.2　Dropout 层　190

12.2.1　Dropout 层　191

12.2.2　实现 Dropout 层　191

12.3　使用 Dropout　194

12.4　本章小结　195

第　13 章 时间序列和循环网络　197

13.1　时间序列编码　198

13.1.1　为输入和输出神经元编码数据　199

13.1.2　预测正弦波　200

13.2　简单循环神经网络　204

13.2.1　Elman 神经网络　206

13.2.2　Jordan 神经网络　207

13.2.3　通过时间的反向传播　208

13.2.4　门控循环单元　211

13.3　本章小结　213

第　14 章 架构神经网络　214

14.1　评估神经网络　215

14.2　训练参数　215

14.2.1　学习率　216

14.2.2　动量　218

14.2.3　批次大小　219

14.3　常规超参数　220

14.3.1　激活函数　220

14.3.2　隐藏神经元的配置　222

14.4　LeNet-5 超参数　223

14.5　本章小结　224

第　15 章 可视化　226

15.1　混淆矩阵　227

15.1.1　读取混淆矩阵　227

15.1.2　生成混淆矩阵　228

15.2　t-SNE 降维　229

15.2.1　t-SNE 可视化　231

15.2.2　超越可视化的 t-SNE　235

15.3　本章小结　236

第　16 章 用神经网络建模　237

16.0.1　挑战赛的经验　241

16.0.2　挑战赛取胜的方法　242

16.0.3　我们在挑战赛中的方法　244

16.1　用深度学习建模　245

16.1.1　神经网络结构　245

16.1.2　装袋多个神经网络　249

16.2　本章小结　250

附录　A 示例代码使用说明　252

A.1　系列图书简介　252

A.2　保持更新　252

A.3　获取示例代码　253

A.3.1　下载压缩文件　253

A.3.2　克隆 Git 仓库　254

A.4　示例代码的内容　255

A.5　如何为项目做贡献　257

参考资料　259