【2017年整理】北邮郭军web搜索chapter7-2.ppt

Web 搜索郭　军北京邮电大学 ;深度学习;Google Brain;产业界的跟进;深度学习：特征及其层次结构的一种无监督学习方法 可能的名称： 深度学习 特征学习 无监督特征学习 ;机器学习虽然发展了几十年，但特征提取问题始终没有很好解决;特征表示的粒度;特征表示的粒度;初级（浅层）特征表示;初级（浅层）特征表示;初级（浅层）特征表示;初级（浅层）特征表示;Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd.;初级（浅层）特征表示;Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd.;结构性特征表示;结构性特征表示;结构性特征表示;深度学习的基本思想;深度学习的基本思想;浅层学习和深度学习;浅层学习：机器学习第一次浪潮;浅层学习：机器学习第一次浪潮;深度学习：机器学习第二次浪潮;区别于传统的浅层学习，深度学习的不同在于： 1）强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点 2）突出了特征学习的重要性，通过逐层特征变换，将样本在原空间的特征表示变换到新特征空间，从而使分类或预测更加容易。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富内在信息;深度学习与神经网络;而为了克服神经网络训练中的问题，DL采用了与神经网络不同的训练机制 传统神经网络采用反向传播（BP）的方式通过迭代算法来训练网络。随机设定初值，计算当前网络的输出，然后根据当前计算的输出值和实际的标记值之间的差去改变前面各层的参数，直到收敛 DL整体上是一个layer-wise的训练机制。这样做的原因是因为，如果采用BP机制，对于一个深层网络，残差传播到最前面的层已经变得太小，出现所谓的gradient diffusion（梯度消散）;深度学习训练过程;第一步：采用自底向上的无监督学习 1）逐层构建单层神经元 2）每层采用wake-sleep算法进行调优，每次仅调整一层，逐层调整 这个过程可以看作是一个feature learning的过程，是与传统神经网络区别最大之处;深度学习训练过程;深度学习训练过程;深度学习训练过程;深度学习的常用模型;AutoEncoder;非监督学习获取特征;非监督学习获取特征;在隐层输出code时添加稀疏性约束;;σ(Wx);稀疏自动编码器(Sparse AutoEncoder);降噪自动编码器(Denoising AutoEncoder) 对训练数据加入噪声，自动编码器需去除噪声而获得没有被噪声污染过输入 迫使编码器学习输入信号的更加鲁棒的表达，使其泛化能力更强;假设有二部图，一层为可视层(v)，一层为隐藏层(h)，同层节点之间无链接，若所有的节点都是随机二值变量，且全概率分布p(v,h)满足Boltzmann 分布，则称这个模型为Restricted Boltzmann Machine (RBM); RBM是一种深度学习模型 ;定义联合组态（joint configuration）能量： 这样某个组态的联合概率分布可以通过Boltzmann 分布和这个组态的能量来确定： ;给定隐层h条件下可视层的概率 （可视层节点之间是条件独立的） 给定可视层条件下隐层的概率 若隐藏层层数增加，可得到深度波尔兹曼机 Deep Boltzmann Machine (DBM) ;深度信念网络;预训练后，深度信念网络可以利用带标签数据用BP算法对判别性能做调整 标签集将被附加到顶层（推广联想记忆），通过一个自下向上学习到的识别权值获得一个网络的分类面 性能会比单纯的BP算法训练的网络好 DBN的BP算法只需要对权值参数空间进行一个局部的搜索，相比前向神经网络来说，收敛的时间少;深度信念网络的训练;Convolutional Neural Network是为识别二维图像而专门设计一个多层感知器;权值共享的特性;隐层神经元数量的确定;多滤波器情形; CNN的关键技术 局部感受野、权值共享、时间或空间子采样 CNN的优点： 避免了显式的特征抽取，而隐式地从训练数据中进行学习 同一特征映射面上的神经元权值相同，从而网络可以并行学习，降低了网络的复杂性 采用时间或者空间的子采样结构，可以获得某种程度的位移、尺度、形变鲁棒性 输入信息和网络拓扑结构能很好的吻合，在语音识别和图像处理方面有着独特优势;AI新范式：大数据 + 深度学习?;空间金字塔（