深度学习——从算法本质、系统工程到产业实践

党的二十大报告指出：教育、科技、人才是全面建设社会主义现代化国家的基础性、战
略性支撑。必须坚持科技是第一生产力、人才是第一资源、创新是第一动力，深入实施科教
兴国战略、人才强国战略、创新驱动发展战略，这三大战略共同服务于创新型国家的建设。
高等教育与经济社会发展紧密相连，对促进就业创业、助力经济社会发展、增进人民福祉具
有重要意义。

在本书中，笔者将带领广大读者一起踏上一段奇妙而充满挑战的人工智能之旅，揭示人
工智能的神秘面纱。无论读者是刚刚踏入人工智能领域的初学者，还是已经在这个领域探索
多年的专业人士，本书都将为大家提供全面而深入的指导。

深度学习作为人工智能领域的重要分支，正以其卓越的能力和广泛的应用引领着科技的
未来，然而，要想在这个领域取得真正突破和应用创新，仅仅依靠对理论知识的理解是远远
不够的。作为一位专业的人工智能从业者，需要掌握工程化的技能，理解人工智能系统的整
体架构和开发流程。本书通过深入浅出的方式，结合丰富的实际案例和工程实践，让读者能
够真正上手完整的人工智能项目，掌握将深度学习理论应用于实际生产的关键技能。

在笔者的职业经历中，学术研究和产业实践是紧密结合的。要将先进的深度学习模型转
换为可行的人工智能产品，需要克服许多技术难题和工程挑战。除了模型本身的优化和创新，
深度学习系统的整体性能也是至关重要的，包括运算速度、规模化能力和稳健性等。本书不
仅对深度学习的基础理论进行了深入浅出的讲解，还通过真实案例的工程实践，向读者展示
了构建完整人工智能系统的方法和技巧。

本书共10 章，旨在帮助读者逐步掌握深度学习的核心知识和实际应用技能。第1～8 章
详细讲解深度学习的基本概念，包括神经网络、卷积神经网络、循环神经网络、Transformer 
及深度学习的前沿技术。通过逐层深入的讲解，读者将从根本上了解这些概念的起源、发展
和应用。第9 章和第10 章着眼于真实世界的分布式系统与应用案例，通过具体的项目实
践，引导读者了解深度学习系统的构建过程，并将其应用于实际场景中。全书突出了深度学
习技术在医疗领域的应用，并搭配有真实项目案例。本书特别强调实践的重要性，为读者提
供丰富的图示、示例代码和视频，帮助读者快速掌握基本概念，并展开大规模实践。通过这
些实战案例，读者将学会如何处理真实世界中的数据集、设计高效的模型架构，并解决实际
应用中的挑战。本书第4 章的语音识别与语音评测部分及第8 章的大部分内容由徐罡博士撰
写，以期为读者提供全面、前沿的深度学习理论知识。

为了保证全书的权威性，全部课程代码均经过严格审阅。由于篇幅的局限性，本书所呈

 
VI 
现的代码没有严格遵守PEP 8 规范，更加规范的代码可参考随书代码库。

资源下载提示 

素材（源代码）等资源：扫描目录上方的二维码下载。

在本书的写作过程中，中国运载火箭技术研究院的李旗挺教授、透彻实验室的王伟研究
员、北京航空航天大学的张泽文同学、加州大学圣地亚哥分校的杨若淇同学对本书的内容进
行了审阅，并贡献了部分模型代码，非常感谢他们的鼎力相助。与此同时还得到了清华大学
出版社赵佳霓编辑的帮助，在这里笔者对她表示由衷的感谢。

希望读者通过本书的学习和实践，掌握人工智能的核心知识和技能，成为行业中的领军
人物，为未来的科技创新做出贡献。期待与每位读者共同探究人工智能的奥秘，开创美好的
未来。让笔者带领大家一同踏上人工智能的征程，探索无尽的可能性。

王书浩
2024 年1 月于北京

本书介绍了深度学习的基本理论、工程实践及其在产业界的部署和应用。在深度学习框架的介绍中，书中结合代码详细讲解了经典的卷积神经网络、循环神经网络和基于自注意力机制的Transformer网络及其变体。还介绍了这些模型在图像分类、目标检测、语义分割、欺诈检测和语音识别等领域的应用。此外，书中还涵盖了深度强化学习和生成对抗网络的前沿进展。在系统工程和产业实践方面，书中解释了如何使用分布式系统训练和部署模型以处理大规模数据。本书系统介绍了构建深度学习推理系统的过程，并结合代码讲解了分布式深度学习推理系统需要考虑的工程化因素，例如分布式问题和消息队列，以及从工程化角度出发的解决方法。本书提供了每个经典模型和应用实例的TensorFlow和PyTorch版本代码，为深度学习初学者和算法开发者提供理论学习、代码实践和工程落地的指导与帮助。
本书既适合计算机、自动化、电子、通信、数学、物理等相关专业背景的研究生和高年级本科生，也适合那些希望从事或准备转向人工智能领域的专业技术人员。

王书浩,清华大学博士，清华大学交叉信息研究院博士后，现为透彻未来联合创始人与首席技术官，曾先后于百度、异构智能（NovuMind）、京东从事数据科学与人工智能研究，拥有国家发明专利20余项，并于Nature Communications、Modern Pathology、ICCV等顶级期刊/会议发表十余篇学术论文。曾获得2019年乌镇互联网峰会“30位新生代数字经济人才”精英奖、Year 2022 Fall Asia-Pacific Signal and Information Processing Association Industrial Distinguished Leaders、阿里云“看见新力量”2022年度人物。
徐罡，清华大学博士，现任复旦大学复杂体系多尺度研究院青年副研究员，以第一作者身份在ICCV、Briefings in Bioinformatics、Bioinformatics、Journal of Chemical Theory and Computation与Journal of Chemical Information and Modeling等知名期刊/会议中发表多篇文章。主要研究方向为人工智能在医疗图像及计算生物学领域中的应用，提出了弱监督框架CAMEL，并使用深度学习框架TensorFlow建立了蛋白质折叠和对接框架，为人工智能和传统计算生物学领域的结合提供了桥梁。

本书源代码 
第
1 
章神经网络深入  
1 

11 打开深度学习之门  
1

12 从优化问题讲起  
6

121 牛顿与开普勒的对话  
6

122 拟合与分类的数学模型  
6

123 通过训练数据优化模型参数  
8

124 优化方法  13

13 深度神经网络  16

131 谁来做特征提取  16 

132 人工神经元与激活函数  17 

133 神经网络及其数学本质  21 

14 正则化方法  29

141 欠拟合与过拟合  29 

142 正则化方法  31 

143 一些训练技巧  35 

15 模型评价  36

151 评价指标的重要性 36 

152 混淆矩阵  36 

153 典型评价指标  38 

16 深度学习能力的边界  39

161 深度学习各领域的发展阶段  39 

162 不适用现有深度学习技术的任务  39 

163 深度学习的未来  40 
本章习题  41

第
2 
章卷积神经网络——图像分类与目标检测  42 

21 卷积的基本概念  42

 
VIII

211 卷积的定义  42 

212 卷积的本质  43 

213 卷积的重要参数  43 

214 池化层  45 

22 卷积神经网络  46

221 典型的卷积神经网络  47 

222 LeNet  50

223 AlexNet  53 

224 VGGNet  57 

225 ResNet  63

226 能力对比  75 

23 目标检测  76

231 R-CNN  76

232 Fast R-CNN  78 

233 Faster R-CNN  79 

234 YOLO  79
本章习题  81

第
3 
章卷积神经网络——语义分割  82 

31 语义分割基础  82

311 语义分割的应用领域  82 

312 全卷积神经网络  83 

313 反卷积与空洞卷积 83 

314 U-Net  85

315 DeepLab v1 和v2  90 

316 DeepLab v3  95 

317 两种架构的融合——DeepLab v3  101 

32 模型可视化  108

321 卷积核可视化  109 

322 特征图可视化  109 

323 表征向量可视化  109 

324 遮盖分析与显著梯度分析  109 

33 病理影像分割初探 110

331 病理——医学诊断的“金标准” 110 

332 病理人工智能的挑战  111 

333 真实模型训练流程112 

 
IX
34 自监督学习 117

341 方法概述 117 

342 自监督学习算法介绍 118 

35 模型训练流程  123

351 成本函数  123 

352 自动调节学习速率 123 

353 模型保存与加载  123 
本章习题  124

第
4 
章高级循环神经网络  125 

41 自然语言处理基础  125

411 时间维度的重要性 125 

412 自然语言处理  125 

413 词袋法  126 

414 词嵌入  127 

42 循环神经网络  128

421 时序数据建模的模式  128 

422 循环神经网络基本结构  128 

423 LSTM  131

424 GRU 134 

43 基于会话的欺诈检测  137

431 欺诈的模式  137 

432 技术挑战  138 

433 数据预处理  138 

434 实践循环神经网络 140 

44 语音识别与语音评测  148

441 特征提取  148 

442 模型结构  149 

443 CTC 损失函数  151 
本章习题  152

第
5 
章分布式深度学习系统  153 

51 分布式系统  153

511 挑战与应对  153 

512 主从架构  154 

513 Hadoop 与Spark  154 

 
X 

52 分布式深度学习系统  157

521 CPU 与GPU  157 

522 分布式深度学习  160 

523 通信——对参数进行同步  164 

53 微服务架构  165

531 微服务的基本概念 166 

532 消息队列  167 

54 分布式推理系统  167

541 深度学习推理框架 167 

542 推理系统架构  169 
本章习题  171

第
6 
章深度学习前沿  173 

61 深度强化学习  173

611 强化学习概述  173 

612 深度强化学习概述 174 

613 任天堂游戏的深度强化学习  175 

62 AlphaGo  176

621 为什么围棋这么困难  176 

622 AlphaGo 系统架构  177 

623 AlphaGo Zero  181 

63 生成对抗网络  182

631 生成对抗网络概述 182 

632 典型的生成对抗网络  182 

64 未来在哪里  207
本章习题  210

第
7 
章专题讲座 211

71 DenseNet 211

72 Inception  216

73 Xception  230

74 ResNeXt  236

75 Transformer  240
本章习题  242

第
8 
章Transformer 
和它的朋友们  243 

81 注意力模型  243

 
XI
811 看图说话  243 

812 语言翻译  245 

813 几种不同的注意力机制  246 

82 Transformer  250

821 自注意力机制和Transformer  250 

822 Transformer 在视觉领域的应用  278 
本章习题  293

第
9 
章核心实战  294 

91 图像分类  295

911 ImageNet 数据集概述  295 

912 ImageNet 数据探索与预处理  295 

913 模型训练  299 

914 模型测试  304 

915 模型评价  307 

916 猫狗大战数据集  309 

917 模型导出  310 

92 语义分割 311

921 数字病理切片介绍311

922 数字病理切片预处理  314 

923 样本均衡性处理  317 

924 模型训练  319 

925 模型测试  324 

926 模型导出  331 
本章习题  332

第10 
章深度学习推理系统  333 

101 整体架构  333

102 调度器模块  334

103 工作节点模块  340

104 日志模块  347
本章习题  349

参考文献  350 

扩展资源二维码 351

本书介绍了深度学习的基本理论、工程实践及其在产业界的部署和应用。在深度学习框架的介绍中，书中结合代码详细讲解了经典的卷积神经网络、循环神经网络和基于自注意力机制的Transformer网络及其变体。还介绍了这些模型在图像分类、目标检测、语义分割、欺诈检测和语音识别等领域的应用。此外，书中还涵盖了深度强化学习和生成对抗网络的前沿进