深度学习技术基础与实践

吕建成

博士，教授，四川大学计算机学院（软件学院）院长，国家杰出青年基金获得者，

国务院特殊津贴专家，国务院第八届学科评议组成员。2015年至今担任/EEETNNLS

编委(AE)。主要研究领域：神经网络基础理论、自然语言处理、工业智能化、智

慧医学、智慧文创等。研究成果在/EEETNN，/EEETFS，/EEETEC,IEEE TSMC,IEEE TNNLS,IEEE TSP,IEEE TETCI等期刊和NeurIPS,ICML,ACL,AAAl,JJCAI,CVPR,IJCNN等重要国际会议上发表，出版英文专著Subspace Learning of NeuralNetworks。2019年获得国家自然科学二等奖，2012年获得教育部自然科学一等奖，2011年获得四川省科技进步一等奖，2007年获CCF优秀博士论文奖。

基础理论篇

第1章 深度学习概述一005

第2章 深度学习原理……021

平台框架篇

第3章 深度学习框架…055

第4章 MindSpore实践……073

网络模型篇

第5章 卷积神经网络109

第6章序列数据建模

模型优化篇

第7章模型优化

强化学习实战…199

网络模型篇

第5章 卷积神经网络109

第6章序列数据建模

模型优化篇

第7章模型优化

第8章强化学习实战…199

参考文献

第1章深度学习概述

1.1深度学习基本概念

2016年，谷歌旗下DeepMind公司开发的AlphaGo首次在围棋赛事上战胜人类职业棋手，一时间风头无两。一夜之间，似乎所有人都开始讨论人工智能。那么，究竟什么是人工智能？它与机器学习和深度学习又有什么关系呢？

1.1.1 深度学习与机器学习

深度神经网络学习算法是一种使用多个“层”从输入数据中逐步提取数据表达的学习算法，也被称为深度学习（Deep Learning），它和浅层学习（ShallowLearning）是相对应的。深度学习的术语由里娜·德克特（Rina Dechter）在1986年提出（1]，用于在约束满足问题求解中回溯到最深变量（Deepest Variable）。2006年深度学习开始用于深度神经网络模型[2]。随后，深度学习在语音识别、图像识别等领域得到快速发展。目前，深度学习成为了人工智能领域最成功、最有效的方法之一。为了对深度学习有全面的认识，我们需要从人工智能和机器学习说起。深度学习与机器学习之间的关系如图1.1所示。

计算机科学将人工智能的研究领域定义为对“智能代理”的研究，该智能代理感知环境并采取行动，以求最大限度地提高成功实现目标的机会[3]。同时，人工智能也经常被用来描述模仿人类或者其他动物大脑认知功能的机器[4]。而机器学习是人工智能的一个子集，也是实现人工智能的一种方式。机器学习研究的是通过经验自动改进的计算机算法[5]，通俗来说，即探究计算机如何在没有明确编程的情况下解决任务，这也是机器学习和传统算法的最大区别所在。机器学习的改进过程依赖与任务有关的采样数据，研究者们一般称之为“训练数据”。深度学习是机器学习的一个子领域，它的特点是使用多个计算“层”组成深度神经网络。深度学习的改进过程也需要“训练数据”，而且由于其网络的庞大，通常需要的数据量也特别大。近年来，深度学习得到了长足的发展并给人们的生活带来了巨大的改变，1.3节将详细讨论深度学习的常见应用。

机器学习与统计学有着千丝万缕的联系。贝叶斯定理、最小二乘理论和马尔可夫链随机过程等为机器学习奠定了基础。早期的机器学习理论聚焦于赋予机器逻辑推理功能，然而彼时的机器还远称不上智能。1950年，艾伦·麦席森·图灵(Alan Mathison Turing）提出的“学习机”被认为是机器学习的先驱（6]，他提出的图灵测试直到今天仍然是一些人工智能任务的目标。图灵测试采用提问一回答模式，提问者通过控制打字机向人和机器两个测试对象不断提出各种问题来辨别回答者是人还是机器，如图1.2所示。随后，决策树、支持向量机、人工神经网络和贝叶斯网络等机器学习算法与模型相继得到发展，其中，人工神经网络表现出了顽强的生命力。

……

本书是新一代人工智能实践系列教材之一，从理论基础、平台框架、网络模型和模型优化4个方面重点阐述深度学习技术的基础与实践。本书分为4篇8章内容，包括深度学习概述、深度学习原理、深度学习框架、MindSpore实践、卷积神经网络、模型优化与强化学习实战。