深度学习之模型设计：核心算法与案例实践

图书标准信息

• 作者 言有三 著
• 出版社 电子工业出版社
• 出版时间 2020-06
• ISBN 9787121390302
• 定价 88.00元
• 装帧 其他

【内容简介】

本书理论知识体系完备，由浅入深，系统性地介绍了深度学习模型的发展脉络，以及模型深度设计、模型宽度设计、模型通道维度设计、残差连接设计、分组卷积设计、多尺度与非正常卷积设计、多输入网络设计、时序神经网络设计、三维卷积网络设计、动态推理模型与注意力机制设计、生成对抗网络设计这10类主流的深度学习模型设计思想。同时，本书为各模型设计思想提供了大量的实例，供读者实战演练。

 

本书注重内容的完整性与实用性，既可以作为深度学习与计算机视觉初学者、相关专业的在校学生学习核心算法的书籍，也可以作为相关工程人员查阅相关技术的参考手册。

 

【作者简介】

作者言有三，毕业于中国科学院，有超过5年的深度学习领域从业经验，以及超过6年的计算机视觉从业经验，创办了微信公众号《有三AI》和知识星球《有三AI》等知识生态，目前已经全职做内容输出，于2019年花费大半年时间总结多年的知识积累和深度学习项目经验并撰写了这本书。

 

 

【目录】

第1章  神经网络和计算机视觉基础

 

第1章  神经网络和计算机视觉基础 1

 

1.1  计算机视觉 1

 

1.1.1  研究视觉的重要性 1

 

1.1.2  生物学视觉原理与视觉分层理论 2

 

1.2  数字图像基础 3

 

1.2.1  数字图像基础概述 3

 

1.2.4  数字图像处理基础 7

 

1.3  神经网络基础 11

 

1.3.1  生物神经元与人工神经网络 12

 

1.3.2  感知机是神经网络吗 12

 

1.3.3  BP算法 16

 

第2章  深度学习的基础 20

 

2.1  全连接神经网络的局限性 20

 

2.1.1  学习原理的缺陷 20

 

2.1.2  全连接神经网络的结构缺陷 21

 

2.1.3  高性能的传统机器学习算法 22

 

2.2  深度学习第三次复兴简史 22

 

2.2.1  互联网与大数据来了 23

 

2.2.2  GPU的普及 23

 

2.2.3  深层神经网络华丽归来 24

 

2.2.4  语音识别的重大突破 25

 

2.2.4  图像识别的重大突破 26

 

2.2.5  自然语言处理的重大突破 28

 

2.3  卷积神经网络基础 29

 

2.3.1  卷积操作 29

 

2.3.2  反卷积操作 30

 

2.3.3  卷积神经网络基本概念 31

 

2.3.4  卷积神经网络的核心思想 33

 

2.3.5  卷积神经网络的基本结构配置 33

 

2.4  深度学习优化基础 37

 

2.4.1  激活模型与常用激活函数 38

 

2.4.2  参数初始化方法 43

 

2.4.3  归一化方法 45

 

2.4.4  池化 49

 

2.4.5  最优化方法 50

 

2.4.6  学习率策略 54

 

2.4.7  正则化方法 57

 

2.5  深度学习主流开源框架 60

 

2.5.1  Caffe 60

 

2.5.2  TensorFlow 61

 

2.5.3  Pytorch 61

 

2.5.4  Theano 62

 

2.5.5  Keras 62

 

2.5.6  MXNet 63

 

2.5.7  Chainer 63

 

参考文献 64

 

第3章  数据集、评测指标与优化目标 66

 

3.1  数据集 66

 

3.1.1  分类数据集MNIST 66

 

3.1.2  ImageNet 66

 

3.1.3  分类数据集GHIM-10k 67

 

3.1.4  分类数据集Place20 67

 

3.1.5  肖像分割数据集 68

 

3.1.6  视频分类数据集UCF101 68

 

3.1.7  目标跟踪数据集ImageNet VIDEO 68

 

3.2  评测指标 69

 

3.2.1  分类评测指标 69

 

3.2.2  检索与回归评测指标 73

 

3.2.3  图像生成评测指标 75

 

3.3  优化目标 76

 

3.3.1  分类任务损失 76

 

3.3.2  回归任务损失 78

 

参考文献 80

 

第4章  加深网络，提升模型性能 81

 

4.1  经典的浅层卷积神经网络 81

 

4.1.1  Neocognitron网络 81

 

4.1.2  TDNN 83

 

4.1.3  Cresceptron网络 83

 

4.1.4  LeNet系列 84

 

4.2  经典网络的深度设计 87

 

4.2.1  AlexNet 87

 

4.2.2  从AlexNet到VGGNet的升级 90

 

4.2.3  为什么需要更深的网络 93

 

4.3  实验：网络深度对分类模型性能的影响 94

 

4.3.1  基准模型 94

 

4.3.2  不同学习率策略与优化方法 96

 

4.3.3  标准卷积模型网络深度影响实验 104

 

4.3.4  MobileNet网络深度影响实验 111

 

4.3.5  总结 113

 

参考文献 114

 

第5章  1×1卷积，通道维度升降的利器 115

 

5.1  特征通道与信息融合 115

 

5.1.1  通道内特征能做什么 115

 

5.1.2  通道间特征能做什么 116

 

5.2  1×1卷积及其应用 117

 

5.2.1  什么是1×1卷积 117

 

5.2.2  1×1卷积与瓶颈结构 117

 

5.2.3  1×1卷积与SqueezeNet 118

 

5.3  1×1卷积在瓶颈结构中的作用 120

 

5.3.1  基准模型 120

 

5.3.2  瓶颈结构探索 126

 

5.3.3  训练结果 143

 

5.4  1×1卷积在增强网络表达能力中的作用 145

 

5.4.1  基准模型 145

 

5.4.2  网络配置 146

 

5.4.3  实验结果 146

 

参考文献 148

 

 

第6章  加宽网络，提升模型性能 149

 

6.1  为什么需要更宽的网络结构 149

 

6.2  经典模型的网络宽度设计思想 149

 

6.2.1  调整通道数量 150

 

6.2.2  多分支网络结构设计 152

 

6.2.3  通道补偿技术 154

 

6.3  实验：网络宽度对模型性能的影响 155

 

6.3.1  实验背景 155

 

6.3.2  训练结果 161

 

6.3.3  总结 166

 

参考文献 166

 

第7章  残差连接，深层网络收敛的关键 167

 

7.1  残差连接 167

 

7.1.1  什么是残差连接 167

 

7.1.2  为什么残差连接有效 169

 

7.2  残差网络结构发展和应用 171

 

7.2.1  密集连接的残差网络结构 171

 

7.2.2  多分支残差结构 173

 

7.2.3  残差连接与多尺度信息融合 174

 

7.3  跳层连接在图像分割中的应用 175

 

7.3.1  数据集与基准模型 175

 

7.3.2  Allconv5_SEG实验 184

 

7.3.3  增加跳层连接 186

 

参考文献 199

 

第8章  分组卷积与卷积拆分，移动端高效率经典模型 201

 

8.1  卷积拆分与分组卷积 201

 

8.1.1  卷积拆分 201

 

8.1.2  分组卷积 201

 

8.2  分组卷积结构 202

 

8.2.1  简单的通道分组网络 203

 

8.2.2  级连通道分组网络 204

 

8.2.3  多分辨率卷积核通道分组网络 205

 

8.2.4  多尺度通道分组网络 206

 

8.2.5  多精度通道分组网络 207

 

8.3  训练一个用于图像分割的实时分组网络 208

 

8.3.1  项目背景 208

 

8.3.2  嘴唇分割模型训练 208

 

8.3.3  嘴唇分割模型优化 212

 

参考文献 219

 

第9章  多尺度网络与非正常卷积，更丰富的感受野与不变性 221

 

9.1  目标常见变换与不变性 221

 

9.1.1  常见变换 221

 

9.1.2  从模型本身获取不变性 221

 

9.1.3  从数据中学习不变性 223

 

9.2  多尺度网络结构 224

 

9.2.1  图像金字塔 224

 

9.2.2  多尺度网络 225

 

9.3  非正常卷积网络结构 228

 

9.3.1  带孔卷积 228

 

9.3.2  可变形卷积 229

 

9.3.3  非局部卷积 230

 

9.4  STN在可变形手写数字中的应用 232

 

9.4.1  项目背景 232

 

9.4.2  STN实验 233

 

参考文献 237

 

第10章  多输入网络，图像检索和排序的基准模型 238

 

10.1  什么时候需要多个输入 238

 

10.1.1  图像检索 238

 

10.1.2  目标跟踪 239

 

10.1.3  相对排序 239

 

10.2  常见多输入网络 240

 

10.2.1  Siamese网络 240

 

10.2.2  Triplet网络 241

 

10.3  目标跟踪Siamese网络实战 242

 

10.3.1  网络结构 242

 

10.3.2  数据读取 244

 

10.3.3  损失函数和评估指标 247

 

10.3.4  模型训练 248

 

10.3.5  模型测试 249

 

参考文献 254

 

第11章  时序神经网络，有记忆的网络更聪明 255

 

11.1  单向RNN和双向RNN 255

 

11.1.1  RNN 255

 

11.1.2  双向RNN 257

 

11.2  LSTM 258

 

11.3  LSTM视频分类实践 260

 

11.3.1  数据准备 260

 

11.3.2  数据读取 260

 

11.3.3  网络定义 264

 

11.3.4  模型训练结果 269

 

11.3.5  总结 270

 

第12章  卷积从二维变成三维，实现升维打击 271

 

12.1  三维卷积 271

 

12.2  三维卷积的应用 272

 

12.2.1  分类任务 272

 

12.2.2  图像分割 274

 

12.3  一个用于视频分类的三维卷积网络 274

 

12.3.1  基准模型与数据集 275

 

12.3.2  数据读取 278

 

12.3.3  训练结果 280

 

12.3.4  参数调试 281

 

12.3.5  总结 283

 

参考文献 283

 

第13章  动态推理与注意力机制，网络因样本而异 284

 

13.1  拓扑结构动态变化的网络 284

 

13.1.1  训练时拓扑结构变化的网络 284

 

13.1.2  测试时拓扑结构变化的网络 285

 

13.2  注意力机制 288

 

13.2.1  空间注意力模型 289

 

13.2.2  通道注意力模型[9] 289

 

13.2.3  混合注意力模型 290

 

13.3  基于提前退出机制的BranchyNet分类实战 291

 

13.3.1  背景 291

 

13.3.2  模型定义 292

 

13.3.3  实验结果 302

 

参考文献 305

 

第14章  生成对抗网络 306

 

14.1  生成对抗网络的基本原理 306

 

14.1.1  生成式模型与判别式模型 306

 

14.1.2  GAN简介 307

 

14.2  生成对抗网络损失的发展 308

 

14.2.1  GAN的损失函数问题 308

 

14.2.2  GAN的损失函数改进 309

 

14.3  生成对抗网络结构的发展 310

 

14.3.1  条件GAN 310

 

14.3.2  多尺度级连GAN 311

 

14.3.3  多判别器单生成器GAN 312

 

14.3.4  多生成器单判别器GAN 313

 

14.3.5  多生成器多判别器GAN 313

 

14.4  DCGAN图像生成实战 314

 

14.4.1  项目背景 314

 

14.4.2  项目解读 315

 

14.4.3  实验结果 319

 

参考文献 321