深度学习与自然计算

目录

第1章概述1

1.1人工智能1

1.1.1人工智能发展简史2

1.1.2人工智能三大学派3

1.2深度学习3

1.3自然计算6

1.4本章小结9

参考文献10

第2章神经网络基础12

2.1神经网络简介12

2.1.1神经网络的概念12

2.1.2神经网络的发展12

2.1.3神经网络的应用14

2.2神经网络的基本模型15

2.2.1MP模型15

2.2.2感知器模型16

2.2.3BP神经网络模型18

2.3神经网络常见学习规则19

2.3.1误差修正学习规则19

2.3.2赫布学习规则20

2.3.3最小均方学习规则20

2.3.4竞争学习规则21

2.3.5随机学习规则21

2.4基于梯度下降的优化算法22

2.4.1梯度下降法22

2.4.2随机梯度下降法22

2.4.3小批量梯度下降法23

2.5本章小结23

2.6章节习题23

参考文献23第3章卷积神经网络25

3.1卷积神经网络简介25

3.1.1卷积神经网络的发展历程25

3.1.2卷积神经网络的基本结构26

3.1.3前馈运算与反馈运算27

3.2卷积神经网络中的各层网络及操作29

3.2.1卷积层29

3.2.2池化层32

3.2.3激活函数层33

3.2.4全连接层34

3.2.5损失函数35

3.3卷积神经网络经典结构35

3.3.1LeNet模型35

3.3.2AlexNet模型36

3.3.3NetworkInNetwork模型37

3.3.4VGGNet模型37

3.3.5GoogLeNet模型37

3.4本章小结39

3.5章节习题39

参考文献39

第4章循环神经网络41

4.1循环神经网络简介41

4.1.1循环神经网络的结构41

4.1.2循环神经网络的输入层42

4.1.3循环神经网络的输出层43

4.1.4循环神经网络的隐含层43

4.2循环神经网络的算法44

4.2.1RNN的前向传播算法44

4.2.2随时间反向传播算法44

4.2.3实时循环学习算法47

4.3长期依赖性挑战48

4.4改进的循环神经网络48

4.4.1双向循环神经网络49

4.4.2长短期记忆网络49

4.4.3门控循环单元网络51

4.5本章小结52

4.6章节习题53

参考文献53

第5章生成对抗网络55

5.1生成模型概述55

5.1.1生成模型的基本概念55

5.1.2生成模型的意义及应用56

5.2GAN概述56

5.2.1GAN简介57

5.2.2GAN的损失函数57

5.2.3GAN的算法流程58

5.2.4GAN的算法分析60

5.3GAN模型60

5.3.1SGAN模型60

5.3.2CGAN模型62

5.3.3StackGAN模型63

5.3.4InfoGAN模型64

5.3.5ACGAN模型65

5.4本章小结66

5.5章节习题67

参考文献67第6章孪生神经网络69

6.1孪生神经网络概述69

6.1.1孪生神经网络的概念69

6.1.2孪生神经网络的发展69

6.1.3孪生神经网络的基本结构70

6.1.4孪生神经网络的特殊结构70

6.2孪生神经网络在目标识别中的应用71

6.2.1DeepFace模型71

6.2.2FaceNet模型72

6.3孪生神经网络在目标跟踪中的应用72

6.3.1SINT模型72

6.3.2SiamFC模型73

6.3.3SiamRPN系列模型74

6.4孪生网络在自然语言处理中的应用77

6.4.1Siamese LSTM模型77

6.4.2SentenceBERT模型78

6.5本章小结79

6.6章节习题79

参考文献79

第7章遗传算法81

7.1算法介绍81

7.1.1基本概念及发展历程81

7.1.2专业词汇82

7.1.3主要优点83

7.1.4标准遗传算法流程85

7.2遗传算法的关键参数与操作设计87

7.2.1种群的初始化88

7.2.2个体适应度评价90

7.2.3选择操作93

7.2.4交叉操作96

7.2.5变异操作99

7.3遗传算法的性能分析101

7.4算法应用实例101

7.4.1作业车间调度问题描述101

7.4.2遗传算法设计103

7.4.3实验结果与分析104

7.5本章小结106

7.6章节习题107

参考文献108

第8章差分进化算法110

8.1算法基本介绍110

8.2算子操作及参数设计110

8.2.1种群的初始化111

8.2.2个体适应度评价111

8.2.3变异操作112

8.2.4交叉操作112

8.2.5选择操作113

8.2.6参数设计114

8.3算法的实现流程及步骤114

8.4算法应用实例115

8.4.1问题描述115

8.4.2算法设计116

8.4.3实验结果118

8.4.4算法的优缺点分析120

8.5算法的改进与拓展121

8.5.1差分进化算法的改进121

8.5.2DE衍生的元启发式算法123

8.5.3改进的DE算法124

8.6本章小结126

8.7章节习题127

参考文献127

第9章粒子群算法129

9.1算法基本介绍129

9.1.1粒子群算法起源129

9.1.2基本粒子群算法130

9.1.3粒子群算法原理130

9.1.4粒子群算法流程135

9.2粒子群算法参数分析137

9.2.1惯性权重分析137

9.2.2学习因子分析139

9.3算法应用实例140

9.3.1实验数据140

9.3.2实验步骤与结果分析140

9.4本章小结143

9.5章节习题143

参考文献143

第10章协同演化算法145

10.1算法基本介绍145

10.2协同演化的算法原理146

10.2.1协同演化的背景146

10.2.2协同演化算法的框架147

10.2.3没有免费午餐定理147

10.3协同演化的理论基础148

10.3.1博弈论的起源148

10.3.2非合作博弈148

10.4协同演化算法设计149

10.4.1机制设计149

10.4.2问题表示149

10.4.3遗传操作150

10.5算法应用实例150

10.5.1相关理论基础151

10.5.2算法实现152

10.5.3实验结果与分析154

10.6本章小结158

10.7章节习题158

参考文献159

第11章多目标优化算法161

11.1算法基本介绍161

11.1.1多目标优化算法的基本原理161

11.1.2多目标优化的相关概念162

11.2多目标优化算法的评价指标163

11.3经典多目标优化算法164

11.3.1NSGA165

11.3.2NSGAⅡ166

11.3.3MOEA/D169

11.4高维多目标优化算法171

11.4.1高维多目标优化算法的研究难点171

11.4.2NSGAⅢ172

11.5算法应用实例174

11.5.1应用背景174

11.5.2目标函数175

11.5.3算法步骤176

11.5.4实验验证与分析176

11.6本章小结180

11.7章节习题180

参考文献181

深度学习和自然计算是人工智能领域中的热点研究方向。通过研究分析、模拟人脑的认知机理以及自然系统的智能行为和机制，构造相应的学习模型与优化算法，利用先进的计算工具实现高效的计算智能方法，并用于解决实际工程问题是人工智能研究的重要途径。

本书共分11章，主要介绍人工智能、神经网络基础、卷积神经网络、循环神经网络、生成对抗网络、孪生神经网络、遗传算法、差分进化算法、粒子群算法、协同演化算法和多目标优化算法及其在图像处理、数据处理等领域的应用。

本书是作者在从事多年人工智能、机器学习教学、科研工作积累的经验基础上编纂而成。本书可作为高等学校计算机科学与技术、软件工程、人工智能及电子工程等专业高年级本科生和研究生的教材，也可作为相关领域科研人员的参考书。