深度学习与信号处理： 原理与实践

随着深度学习技术的快速发展，的深度学习模型已经远远超越了传统的机器学习算法，并且在图像处理、生物识别、智能医疗等领域取得了令人瞩目的成就。因此越来越多的人对深度学习感兴趣，掀起了人工智能领域的新高潮。就信号处理领域而言，所涉及的面相当广泛，但如何用深度学习原理来解决信号处理领域中的具体问题确实有些难度。因此，本书在每章都以“基础优先、递进延伸、案例导入”的方式组织内容，简述算法背景，分析算法原理，通过完整的实战案例阐明应用深度学习网络解决信号处理领域具体问题的切入点和过程，以帮助读者动手实践。本书汇集了作者及其研究生团队利用深度学习网络开展信号处理领域应用研究的心得和研究成果；同时，吸收了一些该领域中的成果。全书共10章，第1章为初识深度学习，着重分析了深度学习概念、发展、支持系统等。第2章为人工神经网络，主要讨论了神经网络原理、训练与预测及优化算法、计算图及BP算法、过拟合概念及防止过拟合方法，为后续各章的基础，同时研究了其在信道盲均衡领域中的应用。第3章为模糊神经网络，分析了常规模糊神经网络、模糊联想记忆神经网络、神经模糊推理系统、神经网络近似逻辑等结构、原理、方法及其在飞行目标识别中的应用。第4章为概率神经网络，着重分析了概率神经网络原理、实现架构及其在脑肿瘤分类中的应用。第５章为小波神经网络，研究了前置小波神经网络和嵌入小波神经网络及其在信道盲均衡问题中的应用。第6章为卷积神经网络，分析了常规卷积神经网络基本结构，研究了特征融合卷积神经网络和深度引导滤波网络等扩展模型及其在遥感图像分类和运动模糊去除中的应用。第7章为深度生成对抗网络，以生成对抗网络为基础，研究了其扩展模型及其在图像去雨、去条带噪声及运动图像去模糊中的应用。第8章为深度受限玻尔兹曼机，讨论了玻尔兹曼机、受限玻尔兹曼机、稀疏受限玻尔兹曼机、竞争型稀疏受限玻尔兹曼机和分类受限玻尔兹曼机等，分析了手写字识别实例。第9章为深度信念网络，在常规深度信念网络基础上，分析了深度信念网络的扩展模型及其在注意缺陷多动障碍早期诊断中的应用。第10章为深度自编码器，以自编码网络为基础，分析与研究了其扩展模型（变分、堆叠变分、深度卷积变分、自编码回声状态、深度典型相关、双重对抗等自编码网络）和应用模型（互信息稀疏自编码软测量、深度自编码网络模糊推理、特征聚类快速稀疏自编码及栈式降噪稀疏自编码器极限学习机等应用模型），研究了特征提取及调制识别算法。本书成果得到了无锡俊腾信息科技有限公司、国家自然科学基金项目(61673222)，江苏高校优势学科“信息与通信工程”建设一、二、三期项目等资助。在本书编写过程中，田佳佳、许雪、尤俣良、姚永强、王庆伟、刘程等研究生参与了编校工作。本书的出版还得到了机械工业出版社的大力支持，在此一并表示诚挚的谢意！由于作者水平有限，书中难免存在不当之处，敬请读者批评指正！作者

本书分析研究了深度学习相关的网络模型，以及不同网络模型的算法结构、原理与核心思想及实战案例。主要内容涉及人工神经网络、模糊神经网络、概率神经网络、小波神经网络、卷积神经网络及其扩展模型、深度生成对抗网络及其扩展模型、深度受限玻尔兹曼机及其扩展模型、深度信念网络及其扩展模型、深度自编码器及其扩展模型等深度学习网络结构、原理与方法。通过深度学习网络在信道盲均衡、目标识别、图像分类和运动模糊去除、特征提取与识别、缺陷早期诊断等领域中的应用案例，为读者提供应用深度学习网络解决具体问题的思路和方法。本书适合人工智能、计算机、自动化、电子与通信、大数据科学等相关学科专业的科学研究人员和工程技术人员阅读，也可作为相关专业博士、硕士研究生的参考书。

郭业才，男，教授，博导。2003年获西北工业大学水声工程专业博士学位，全国优秀百篇博士学位论文获得者，安徽省学术与技术带头人，江苏省“六大人才高峰”培养对象，江苏省高校“信息与通信工程”优势建设项目方向带头人。主持完成或承担了全国优秀博士学位论文作者专项资金、国家自然科学基金等科研项目和、省级教学研究项目等，共20余项；获省级科学技术成果奖和教学成果奖9项；出版规划教材1部、电子信息类教指委规划教材5部及省重点教材2部；获授权发明专利30余件；指导的研究生有5人获省级优秀硕士学位论文奖。

前言
第1章初识深度学习1
1.1深度学习有多深1
1.2深度学习如何学4
1.3深度学习如何提速5
1.4主流深度学习框架12
1.5本书内容与体系结构13
第2章人工神经网络15
2.1神经网络演进15
2.2神经网络训练与预测22
2.3优化算法23
2.4计算图30
2.5正则化惩罚项36
2.6神经网络BP算法39
2.7过拟合与欠拟合43
2.8实例1：基于前馈神经网络的动量盲均衡算法52
第3章模糊神经网络58
3.1隶属函数59
3.2常规模糊神经网络66
3.3模糊联想记忆神经网络67
3.4神经模糊推理系统70
3.5神经网络近似逻辑72
3.6实例2：基于智能模糊神经网络的导弹防御系统未知飞行目标识别方法73
第4章概率神经网络85
4.1模式分类的贝叶斯判定策略85
4.2密度估计的一致性86
4.3概率神经网络87
4.4贝叶斯阴阳系统理论90
4.5实例3：基于离散余弦变换和概率神经网络的脑肿瘤分类方法91
第5章小波神经网络97
5.1小波理论97
5.2小波神经网络101
5.3小波神经网络训练架构106
5.4小波神经网络优化方法107
5.5实例4：基于嵌入小波神经网络的常模盲均衡算法110
第6章卷积神经网络116
6.1卷积神经网络结构116
6.2卷积神经网络128
6.3卷积操作的变种129
6.4池化操作的变种137
6.5常见的几种卷积神经网络结构145
6.6几种拓展的卷积神经网络结构158
6.7实例5：基于深度卷积神经网络
的遥感图像分类162
6.8实例6：基于深度卷积神经网络的运动模糊去除170
第7章深度生成对抗网络181
7.1生成对抗网络原理181
7.3小波生成对抗网络190
7.4多尺度生成对抗网络196
7.5实例7：基于条件生成对抗网络的三维肝脏及肿瘤区域自动分割200
7.6实例8：基于深度残差生成对抗网络的运动模糊图像复原208
第8章深度受限玻尔兹曼机216
8.1玻尔兹曼机216
8.2稀疏受限玻尔兹曼机及竞争学习220
8.3分类受限玻尔兹曼机与改进模型226
8.4 (2D)2PCA受限玻尔兹曼机230
8.5实例9：受限玻尔兹曼机的步态特征提取及其识别232
第9章深度信念网络238
9.1深度信念网络概述238
9.2 Gamma深度信念网络243
9.3自适应深度信念网络246
9.4 KPCA深度信念网络248
9.5全参数动态学习深度信念网络250
9.6深度信念网络优化252
9.7实例10：基于贪婪方法的深度信念网络诊断注意缺陷多动障碍259
第10章深度自编码器264
10.1自编码器264
10.2稀疏自适应编码器267
10.3变分自编码器268
10.4自编码回声状态网络274
10.5深度典型相关稀疏自编码器277
10.6条件双重对抗自编码网络280
10.7自编码应用模型283
10.8实例11：基于改进LDA和自编码器的调制识别算法296
参考文献303

本书分析研究了深度学习相关的网络模型，以及不同网络模型的算法结构、原理与核心思想及实战案例。主要内容涉及人工神经网络、模糊神经网络、概率神经网络、小波神经网络、卷积神经网络及其扩展模型、深度生成对抗网络及其扩展模型、深度受限玻尔兹曼机及其扩展模型、深度信念网络及其扩展模型、深度自编码器及其扩展模型等深度学习网络结构、原理与方法。通过深度学习网络在信道盲均衡、目标识别、图像分类和运动模糊去除、特征提取与识别、缺陷早期诊断等领域中的应用案例，为读者提供应用深度学习网络解决具体问题的思路和方法。本书适合人工智能、计算机、自动化、电子与通信、大数据科学等相关学科专业的科学研究人员和工程技术人员阅读，也可作为相关专业博士、硕士研究生的参考书。

郭业才，男，教授，博导。2003年获西北工业大学水声工程专业博士学位，全国优秀百篇博士学位论文获得者，安徽省学术与技术带头人，江苏省“六大人才高峰”培养对象，江苏省高校“信息与通信工程”优势建设项目方向带头人。主持完成或承担了全国优秀博士学位论文作者专项资金、国家自然科学基金等科研项目和、省级教学研究项目等，共20余项；获省级科学技术成果奖和教学成果奖9项；出版规划教材1部、电子信息类教指委规划教材5部及省重点教材2部；获授权发明专利30余件；指导的研究生有5人获省级优秀硕士学位论文奖。