深度学习与信号处理:原理与实践9787111707684

第1章初识深度学习

1.1深度学习有多深

1.1.1深度学习概念

深度学习（Deep Learning,DL）的概念最早由多伦多大学的G.E.Hinton 等人[1]于2006年提出，是基于样本数据通过一定的训练方法得到包含多个层级的深度网络结构的机器学习（Machine Learning,ML）过程[2]。机器学习通常以使用决策树、推导逻辑规划、聚类、贝叶斯网络等传统算法对结构化的数据进行分析为基础，对真实世界中的事件做出决策和预测。深度学习被引人机器学习使其更接近于最初的目标一—人工智能（Arificial hnteligence.AI），其动机在于建立模型，模拟人类大脑的神经连接结构，通过组合低层特征形成更加抽象的高层表示、属性类别或特征，给出数据的分层特征表示；它从数据中提取知识来解决和分析问题时，使用人工神经网络算法，允许发现分层表示来扩展标准机器学习。这些分层表示能够解决更复杂的问题，并且以更高的精度、更少的观察和更简便的手动调谐，潜在地解决其他问题。传统的神经网络随机初始化网络权值，很容易导致网络收敛到局部最小值。为解决这一问题，Hinton提出使用无监督预训练方法优化网络初始权值，再进行权值微调，拉开了深度学习的序幕。深度学习所得到的深度网络结构包含大量的单一元素（神经元），每个神经元与大量其他神经元相连接，神经元间的连接强度（权值）在学习过程中修改并决定网络的功能。通过深度学习得到的深度网络结构符合神经网络的特征[3]，因此深度网络就是深层次的神经网络，即深度神经网络（Deep Neural Networks,DNN）。深度神经网络是由多个单层非线性网络叠加而成的[4-5]常见的单层网络按照编码解码情况分为3类：只包含编码器部分、只包含解码器部分、既有编码器部分也有解码器部分。编码器提供从输入到隐含特征空间的自底向上的映射，解码器以重建结果尽可能接近原始输入为目标，将隐含特征映射到输入空间[6]。深度神经网络分为以下3类（如图1.1所示）。

·前馈深度网络（Feed-Forward Deep Networks,FFDN），由多个编码器层叠加而成，如多层感知机(Multi-Layer Perceptrons,MLP)[7-8]、卷积神经网络(Convolutional NeuralNetworks,CNN)[9-10]等。

反馈深度网络（Feed-Back Deep Networks,FBDN）,由多个解码器层叠加而成，如反卷积网络（Deconvolutional Networks,DN)[11]、层次稀疏编码网络（Hierarchical

……