深度学习模型及应用详解

图书标准信息

• 作者 张若非、付强、高斌、张耿豪、叶挺 著
• 出版社 电子工业出版社
• 出版时间 2019-09
• ISBN 9787121371264
• 定价 89.00元
• 装帧 平装
• 开本 16
• 纸张 胶版纸

【内容简介】

《深度学习模型及应用详解》作者都是微软人工智能及研究院的研究人员和应用科学家，具有深厚的机器学习背景，在一线针对产品需求和支持的场景进行了大量的深度学习模型及算法的研究和开发，在模型设计、训练、评估、部署、推理优化等模型开发全生命周期积累了丰富的经验。

 

《深度学习模型及应用详解》分为4 部分，共13 章。其中第1 部分（第1、2 章）简要介绍了深度学习的现状、概念和实现工具。第2 部分（第3～5 章）以具体的实际应用展示基于深度学习技术进行工程实践和开发的流程和技巧。第3 部分（第6～12 章）介绍了学术界和工业界新的高阶深度学习模型的实现和应用。第4 部分（第13章）介绍了深度学习领域的一些前沿研究方向，并对深度学习的未来发展进行展望。

 

《深度学习模型及应用详解》面向的读者是希望学习和运用深度学习模型到具体应用场景的企业工程师、科研院所的学生和科研人员。读者学习本书的目的是了解深度学习模型和算法基础后，快速部署到自己的工作领域，并取得落地成果。

 

【作者简介】

张若非

 

美国纽约州立大学计算机科学博士。微软（美国）人工智能与研究院高级研究总监，全球合伙人，负责微软在线广告平台机器学习模型、算法及系统的研究和建设。研究领域包括机器学习、数据挖掘、自然语言处理、计算机视觉和多媒体信息检索。在这些领域的一流学术期刊和学术会议发表论文50余篇，获得美国发明专利12项。美国国家自然科学基金会（NSF）智能系统评审委员会委员，IEEE和ACM高级会员。

 

 

 

付强

 

博士毕业于清华大学电子工程系，现任微软（美国）搜索广告部资深应用科学家，主要从事机器学习、深度学习、信息检索、自然语言理解、图像处理等方面的算法研究及其在搜索广告产品中的应用。此前曾任微软亚洲研究院研究员，研究将机器学习算法用于云计算平台的系统建模、性能优化，以及故障自动诊断。在机器学习、数据挖掘、计算机系统等领域的国际会议及期刊上共发表论文30余篇，持有4项美国专利。

 

 

 

高斌

 

博士毕业于北京大学数学科学学院，现任微软（美国）搜索广告部资深机器学习科学家，此前曾担任微软亚洲研究院机器学习研究组主管研究员。主要从事机器学习、信息检索、数据挖掘和计算广告等领域的研究和开发。在国际期刊和会议上发表相关论文40余篇，并持有30余项美国专利。主持研发的十余项创新技术已经被应用于必应搜索引擎、必应搜索广告及微软小冰等产品中。

 

 

 

张耿豪

 

博士毕业于美国加州大学伯克利分校，现任微软（美国）搜索广告部资深应用科学家。主要专注于机器学习、自然语言处理、信息检索、人机界面等领域，并且在微软负责必应搜索广告业务及多项延伸的应用与研究，例如聊天机器人、以图搜图等。在国际期刊和会议上发表相关论文20余篇，并持有3项美国专利。

 

 

 

叶挺

 

硕士毕业于北京大学软件工程研究所，现任微软（美国）搜索广告部工程师，主要从事深度学习算法的性能优化和分布式实现，成功将多个深度学习模型应用于必应的广告服务中。在计算机会议KDD、ASE发表论文3篇，并取得发明专利3项。

 

【目录】

第1 章

 

神经网络发展史 / 1

 

1.1 神经网络的早期雏形 / 3

 

1.1.1 联结主义和Hebb 学习规则 / 4

 

1.1.2 Oja 学习规则及主分量分析 / 5

 

1.1.3 早期的神经元模型 / 5

 

1.2 现代神经网络 / 6

 

1.2.1 反向传播算法 / 6

 

1.2.2 神经网络的通用函数近似性 / 8

 

1.2.3 深度的必要性 / 9

 

1.3 深度学习发展历史中的重要神经网络 / 10

 

1.3.1 深度神经网络的兴起 / 10

 

1.3.2 自组织特征映射 / 10

 

1.3.3 霍普菲尔德神经网络 / 11

 

1.3.4 玻尔兹曼机及受限玻尔兹曼机 / 12

 

1.3.5 深度信念网 / 14

 

1.3.6 其他深度神经网络 / 15

 

1.4 本章小结 / 15

 

参考文献 / 16

 

 

第2 章

 

深度学习开源框架 / 17

 

2.1 主流的深度学习开源框架 / 18

 

2.2 简单神经网络模型在不同框架上的实现对比 / 29

 

2.3 本章小结 / 44

 

参考文献 / 45

 

 

第3 章

 

多层感知机在自然语言处理方面的应用 / 46

 

3.1 词和文本模型的发展历程 / 47

 

3.2 Word2Vec 模型：基于上下文的分布式表达 / 49

 

3.2.1 Skip-Gram 算法的训练流程 / 50

 

3.2.2 Skip-Gram 算法的网络结构 / 53

 

3.2.3 代价函数 / 54

 

3.3 应用TensorFlow 实现Word2Vec 模型 / 58

 

3.3.1 定义计算图：训练语料库预处理 / 60

 

3.3.2 模型计算图的实现 / 63

 

3.4 Word2Vec 模型的局限及改进 / 66

 

3.5 本章小结 / 67

 

参考文献 / 68

 

 

第4 章

 

卷积神经网络在图像分类中的应用 / 69

 

4.1 图像识别和图像分类的发展 / 72

 

4.2 AlexNet / 73

 

4.2.1 网络模型结构 / 74

 

4.2.2 AlexNet 的具体改进 / 79

 

4.2.3 代价函数 / 83

 

4.3 应用TensorFlow 实现AlexNet / 83

 

4.3.1 读取训练图像集 / 83

 

4.3.2 模型计算图的实现 / 84

 

4.4 本章小结 / 85

 

参考文献 / 86

 

 

第5 章

 

递归神经网络 / 87

 

5.1 递归神经网络应用背景介绍 / 88

 

5.2 递归神经网络模型介绍 / 89

 

5.2.1 递归神经网络模型结构 / 89

 

5.2.2 双向递归神经网络 / 90

 

5.2.3 长短期记忆模型 / 91

 

5.3 递归神经网络展望 / 94

 

5.4 本章小结 / 95

 

参考文献 / 95

 

 

第6 章

 

DeepIntent 模型在信息检索领域的应用 / 96

 

6.1 信息检索在搜索广告中的应用发展 / 97

 

6.2 含有注意力机制的RNN 模型 / 99

 

6.2.1 网络模型结构 / 100

 

6.2.2 代价函数 / 104

 

6.3 应用TensorFlow 实现DeepIntent 模型 / 107

 

6.3.1 定义计算图 / 107

 

6.3.2 定义代价函数及优化算法 / 114

 

6.3.3 执行计算图进行训练 / 118

 

6.4 本章小结 / 119

 

参考文献 / 120

 

 

第7 章

 

图像识别及在广告搜索方面的应用 / 121

 

7.1 视觉搜索 / 122

 

7.2 方法和系统 / 124

 

7.2.1 图像DNN 编码器 / 124

 

7.2.2 利用Rich-CDSSM 降低维度 / 125

 

7.2.3 快速最近邻搜索系统 / 127

 

7.2.4 精密层 / 127

 

7.2.5 端到端服务系统 / 128

 

7.3 评测 / 129

 

7.4 用于演示的Visual Shopping Assistant 应用程序 / 131

 

7.5 相关工作 / 132

 

7.6 本章小结 / 133

 

 

第8 章

 

Seq2Seq 模型在聊天机器人中的应用 / 134

 

8.1 Seq2Seq 模型应用背景 / 135

 

8.2 Seq2Seq 模型的应用方法 / 136

 

8.3 含有注意力机制的多层Seq2Seq 模型 / 137

 

8.3.1 词嵌入层 / 137

 

8.3.2 可变深度LSTM 递归层 / 138

 

8.3.3 注意力机制层 / 139

 

8.3.4 投影层 / 139

 

8.3.5 损失函数（loss function）和端到端训练 / 140

 

8.4 信息导向的自适应序列采样 / 142

 

8.5 多轮项目推荐 / 143

 

8.6 熵作为信心的度量 / 143

 

8.6.1 直观的定义和讨论 / 143

 

8.6.2 序列后验估计的不确定性 / 145

 

8.6.3 信息导向的抽样：最大化预期信息增益的原则 / 145

 

8.6.4 Seq2Seq 模型的3 个应用程序 / 146

 

8.6.5 应用程序1：查询理解和重写 / 147

 

8.6.6 应用程序2：相关性评分 / 152

 

8.6.7 应用程序3：聊天机器人 / 156

 

8.7 本章小结 / 160

 

参考文献 / 160

 

 

第9 章

 

word2vec 的改进：fastText 模型 / 162

 

9.1 fastText 模型的原理 / 163

 

9.1.1 回顾Skip-Gram 算法 / 163

 

9.1.2 subword 模型 / 164

 

9.1.3 subword 形态 / 167

 

9.1.4 分层softmax / 168

 

9.1.5 fastText 的模型架构 / 170

 

9.1.6 fastText 算法实现 / 171

 

9.2 应用场景：搜索广告中的查询词关键词匹配问题 / 172

 

9.3 本章小结 / 173

 

参考文献 / 174

 

 

第10 章

 

生成对抗网络 / 175

 

10.1 生成对抗网络的原理 / 176

 

10.1.1 GAN 的基本模型 / 176

 

10.1.2 GAN 优化目标的原理 / 178

 

10.1.3 GAN 的训练 / 179

 

10.1.4 GAN 的扩展模型 / 180

 

10.2 应用场景：搜索广告中由查询词直接生成关键词 / 182

 

10.2.1 生成模型的构建 / 182

 

10.2.2 判别模型的构建 / 184

 

10.2.3 条件生成对抗网络的构建 / 185

 

10.3 本章小结 / 186

 

参考文献 / 187

 

 

第11 章

 

深度强化学习 / 188

 

11.1 深度强化学习的原理 / 189

 

11.1.1 强化学习的基本概念 / 189

 

11.1.2 马尔可夫决策过程 / 191

 

11.1.3 价值函数和贝尔曼方程 / 192

 

11.1.4 策略迭代和值迭代 / 194

 

11.1.5 Q-Learning / 196

 

11.1.6 深度Q 网络 / 198

 

11.1.7 策略梯度 / 201

 

11.1.8 动作评价网络 / 202

 

11.2 应用场景：基于深度强化学习的推荐系统 / 203

 

11.3 本章小结 / 206

 

参考文献 / 206

 

 

第12 章

 

工程实践和线上优化 / 208

 

12.1 Seq2Seq 模型介绍 / 209

 

12.2 LSTM 优化分析 / 211

 

12.2.1 优化一：指数运算的近似展开 / 214

 

12.2.2 优化二：矩阵运算的执行速度优化 / 218

 

12.2.3 优化三：多线程并行处理 / 224

 

12.3 优化应用实例：RapidScorer 算法对GBDT 的加速 / 227

 

12.3.1 背景介绍 / 228

 

12.3.2 RapidScorer 数据结构设计 / 231

 

12.3.3 RapidScorer 矢量化 / 233

 

12.3.4 RapidScorer 实验结果 / 237

 

12.4 本章小结 / 238

 

参考文献 / 239

 

 

第13 章

 

深度学习的下一个浪潮 / 240

 

13.1 深度学习的探索方向展望 / 241

 

13.1.1 设计更好的生成模型 / 241

 

13.1.2 深度强化学习的发展 / 241

 

13.1.3 半监督学习与深度学习 / 242

 

13.1.4 深度学习自身的学习 / 242

 

13.1.5 迁移学习与深度学习的结合 / 242

 

13.1.6 用于推理的深度学习 / 243

 

13.1.7 深度学习工具的标准化 / 243

 

13.2 深度学习的应用场景展望 / 243

 

13.2.1 医疗健康领域 / 243

 

13.2.2 安全隐私领域 / 248

 

13.2.3 城市治理领域 / 249

 

13.2.4 艺术创作领域 / 250

 

13.2.5 金融保险领域 / 252

 

13.2.6 无人服务领域 / 254

 

13.3 本章小结 / 257

 

参考文献 / 258