深度学习算法实践（基于Theano和TensorFlow）

图书标准信息

• 作者 闫涛 周琦
• 出版社 电子工业出版社
• 出版时间 2018-05
• 版次 1
• ISBN 9787121337932
• 定价 109.00元
• 装帧 其他
• 开本 16开
• 纸张 胶版纸

【内容简介】

本书以深度学习算法入门为主要内容，通过系统介绍Python、NumPy、SciPy等科学计算库，深度学习主流算法，深度学习前沿研究，深度学习服务云平台构建四大主线，向读者系统地介绍了深度学习的主要内容和研究进展。本书介绍了Python、NumPy、SciPy的使用技巧，面向谷歌推出的开源深度学习框架TensorFlow，向读者展示了利用TensorFlow和Theano框架实现线性回归、逻辑回归、多层感知器、卷积神经网络、递归神经网络、长短时记忆网络、去噪自动编码机、堆叠自动编码机、受限玻尔兹曼机、深度信念网络等，并将这些技术用于MNIST手写数字识别任务。本书不仅讲述了深度学习算法本身，而且重点讲述了如何将这些深度学习算法包装成Web服务。本书旨在帮助广大工程技术人员快速掌握深度学习相关理论和实践，并将这些知识应用到实际工作中。

  本书可以作为各类深度学习培训班的教材，也可以作为全国高等工科院校“深度学习”课程的教材，还可以作为广大人工智能、深度学习领域工程技术人员的参考书。

【作者简介】

闫涛，网名“最老程序员”。中科院苏州生物医学工程技术研究所副研究员（兼），科技部重点专项：帕金森症早期预防、“十三五”出生缺陷预防系统研究课题组成员，专注于深度学习在医学影像学诊断、医学图像分割、医学图像诊断性标注等应用方向的技术开发。CSDN博客重度使用者，博客地址http://blog.csdn.net/yt7589。北京动维康科技有限公司联合创始人、首席技术官，主持开发了移动医疗系统随诊医生。专注于移动互联网软件开发20年，精通主流开发技术，尤其擅长处理大容量、高并发系统的设计与实现。开源软件倡导者，本书部分代码的GitHub网址为https://github.com/yt7589/dlp/tree/master/book。

【目录】

目  录

第一部分  深度学习算法概述

第1章  深度学习算法简介2

1.1  神经网络发展简史2

1.1.1  神经网络第一次兴起3

1.1.2  神经网络沉寂期（20世纪80年代—21世纪）4

1.1.3  神经网络技术积累期（20世纪90年代—2006年）5

1.1.4  深度学习算法崛起（2006年至今）8

1.2  深度学习现状10

1.2.1  传统神经网络困境10

1.2.2  深度多层感知器12

1.2.3  深度卷积神经网络14

1.2.4  深度递归神经网络15

1.3  深度学习研究前瞻16

1.3.1  自动编码机17

1.3.2  深度信念网络18

1.3.3  生成式网络最新进展19

1.4  深度学习框架比较20

1.4.1  TensorFlow20

1.4.2  Theano21

1.4.3  Torch22

1.4.4  DeepLearning4J23

1.4.5  Caffe23

1.4.6  MXNet24

1.4.7  CNTK27

1.4.8  深度学习框架造型指导原则27

1.5  深度学习入门路径28

1.5.1  运行MNIST28

1.5.2  深度学习框架的选择29

1.5.3  小型试验网络33

1.5.4  训练生产网络33

1.5.5  搭建生产环境34

1.5.6  持续改进35

第二部分  深度学习算法基础

第2章  搭建深度学习开发环境38

2.1  安装Python开发环境38

2.1.1  安装最新版本Python38

2.1.2  Python虚拟环境配置39

2.1.3  安装科学计算库40

2.1.4  安装最新版本Theano40

2.1.5  图形绘制40

2.2  NumPy简易教程43

2.2.1  Python基础43

2.2.2  多维数组的使用51

2.2.3  向量运算58

2.2.4  矩阵运算60

2.2.5  线性代数62

2.3  TensorFlow简易教程68

2.3.1  张量定义69

2.3.2  变量和placeholder69

2.3.3  神经元激活函数71

2.3.4  线性代数运算72

2.3.5  操作数据集74

2.4  Theano简易教程77

2.4.1  安装Theano77

2.4.2  Theano入门78

2.4.3  Theano矩阵相加79

2.4.4  变量和共享变量80

2.4.5  随机数的使用84

2.4.6  Theano求导84

2.5  线性回归86

2.5.1  问题描述86

2.5.2  线性模型88

2.5.3  线性回归学习算法89

2.5.4  解析法90

2.5.5  Theano实现93

第3章  逻辑回归100

3.1  逻辑回归数学基础100

3.1.1  逻辑回归算法的直观解释100

3.1.2  逻辑回归算法数学推导101

3.1.3  牛顿法解逻辑回归问题103

3.1.4  通用学习模型106

3.2  逻辑回归算法简单应用113

3.3  MNIST手写数字识别库简介124

3.4  逻辑回归MNIST手写数字识别126

第4章  感知器模型和MLP139

4.1  感知器模型139

4.1.1  神经元模型139

4.1.2  神经网络架构143

4.2  数值计算形式144

4.2.1  前向传播144

4.2.2  误差反向传播145

4.2.3  算法推导147

4.3  向量化表示形式152

4.4  应用要点153

4.4.1  输入信号模型154

4.4.2  权值初始化155

4.4.3  早期停止155

4.4.4  输入信号调整156

4.5  TensorFlow实现MLP156

第5章  卷积神经网络174

5.1  卷积神经网络原理174

5.1.1  卷积神经网络的直观理解174

5.1.2  卷积神经网络构成177

5.1.3  卷积神经网络设计191

5.1.4  迁移学习和网络微调193

5.2  卷积神经网络的TensorFlow实现195

5.2.1  模型搭建197

5.2.2  训练方法203

5.2.3  运行方法208

第6章  递归神经网络212

6.1  递归神经网络原理212

6.1.1  递归神经网络表示方法213

6.1.2  数学原理214

6.1.3  简单递归神经网络应用示例219

6.2  图像标记226

6.2.1  建立开发环境226

6.2.2  图像标记数据集处理227

6.2.3  单步前向传播229

6.2.4  单步反向传播231

6.2.5  完整前向传播234

6.2.6  完整反向传播236

6.2.7  单词嵌入前向传播239

6.2.8  单词嵌入反向传播241

6.2.9  输出层前向/反向传播243

6.2.10  输出层代价函数计算245

6.2.11  图像标注网络整体架构248

6.2.12  代价函数计算249

6.2.13  生成图像标记255

6.2.14  网络训练过程258

6.2.15  网络持久化265

第7章  长短时记忆网络269

7.1  长短时记忆网络原理269

7.1.1  网络架构269

7.1.2  数学公式272

7.2  MNIST手写数字识别274

第三部分  深度学习算法进阶

第8章  自动编码机286

8.1  自动编码机概述286

8.1.1  自动编码机原理287

8.1.2  去噪自动编码机287

8.1.3  稀疏自动编码机288

8.2  去噪自动编码机TensorFlow实现291

8.3  去噪自动编码机的Theano实现298

第9章  堆叠自动编码机307

9.1  堆叠去噪自动编码机308

9.2  TensorFlow实现322

9.3  Theano实现341

第10章  受限玻尔兹曼机344

10.1  受限玻尔兹曼机原理344

10.1.1  网络架构344

10.1.2  能量模型346

10.1.3  CD-K算法351

10.2  受限玻尔兹曼机TensorFlow实现353

10.3  受限玻尔兹曼机Theano实现362

第11章  深度信念网络381

11.1  深度信念网络原理381

11.2  深度信念网络TensorFlow实现382

11.3  深度信念网络Theano实现403

第四部分  机器学习基础

第12章  生成式学习420

12.1  高斯判别分析422

12.1.1  多变量高斯分布422

12.1.2  高斯判决分析公式423

12.2  朴素贝叶斯436

12.2.1  朴素贝叶斯分类器436

12.2.2  拉普拉斯平滑439

12.2.3  多项式事件模型441

第13章  支撑向量机444

13.1  支撑向量机概述444

13.1.1  函数间隔和几何间隔445

13.1.2  最优距离分类器448

13.2  拉格朗日对偶448

13.3  最优分类器算法450

13.4  核方法453

13.5  非线性可分问题455

13.6  SMO算法457

13.6.1  坐标上升算法458

13.6.2  SMO算法详解458

第五部分  深度学习平台API

第14章  Python Web编程462

14.1  Python Web开发环境搭建462

14.1.1  CherryPy框架463

14.1.2  CherryPy安装463

14.1.3  测试CherryPy安装是否成功464

14.2  最简Web服务器465

14.2.1  程序启动465

14.2.2  显示HTML文件466

14.2.3  静态内容处理468

14.3  用户认证系统471

14.4  AJAX请求详解473

14.4.1  添加数据474

14.4.2  修改数据476

14.4.3  删除数据478

14.4.4  REST服务实现479

14.5  数据持久化技术487

14.5.1  环境搭建487

14.5.2  数据库添加操作488

14.5.3  数据库修改操作489

14.5.4  数据库删除操作490

14.5.5  数据库查询操作491

14.5.6  数据库事务操作492

14.5.7  数据库连接池494

14.6  任务队列499

14.7  媒体文件上传502

14.8  Redis操作504

14.8.1  Redis安装配置504

14.8.2  Redis使用例程505

第15章  深度学习云平台506

15.1  神经网络持久化506

15.1.1  数据库表设计506

15.1.2  整体目录结构511

15.1.3  训练过程及模型文件保存512

15.2  神经网络运行模式528

15.3  AJAX请求调用神经网络531

15.3.1  显示静态网页531

15.3.2  上传图片文件540

15.3.3  AJAX接口543

15.4  请求合法性验证545

15.4.1  用户注册和登录546

15.4.2  客户端生成请求553

15.4.3  服务器端验证请求555

15.5  异步结果处理557

15.5.1  网页异步提交557

15.5.2  应用队列管理模块559

15.5.3  任务队列560

15.5.4  结果队列561

15.5.5  异步请求处理流程562

15.6  神经网络持续改进563

15.6.1  应用遗传算法563

15.6.2  重新训练564

15.6.3  生成式对抗网络565

后  记567

参考文献568