机器学习 课件 第8章 神经网络.pptx

第8章神经网络

课程学习内容8.1神经网络的概念8.2神经网络的算法原理8.3基于Python的神经网络实例8.4基于Spark的神经网络实例

8.1神经网络的概念 神经元抽象为近似为一个多输入、单输出的系统，它接受多个信号后进行处理，再向外输出。其抽象化的模型如图

8.1神经网络的概念?

8.1神经网络的概念 现代神经网络是由多个神经元组成的分层网状结构的，由输入层、隐含层和输出层组成，如图所示，每一个圆圈代表一个神经元。通过复杂网络结构，神经网络可以很容易地处理非线性分类问题。与线性分类不同，非线性分类问题的分类边界是非线性函数。面对非线性分类问题，如语言分析、图像识别、视频分析、目标检测、文本语义等领域问题，神经网络有天然的优势。

8.2神经网络的算法原理8.2.1多层感知机 MLP由输入层、隐含层和输出层构成。相邻层节点之间由权值连接，但各层内的节点之间相互独立。理论上已经证明，具有单隐含层的MLP就能以任意精度逼近任意的非线性函数。其结构示意如图所示。

8.2神经网络的算法原理 BP算法的精髓是误差梯度下降法。其核心思想是，首先将学习样本的输入信号（一般会进行归一化操作）送到输入层，而后经隐含层传递到输出层，经输出层的计算后，输出对应的预测值。当预测值和真实值（期望值）之间的误差达不到预设的目标精度要求时，网络会从输出层逐层向输入层反馈该误差信息，并调整各层间的权值、神经元的偏置，通过反复循环迭代逐步降低网络的输出值与样本的期望输出值之间的误差，直至满足设定的循环次数或精度要求，此时网络的学习过程结束，并获取到优化后的权值、偏置，以此为基础提取未知样本的信息进行输入，即可获得对未知样本的映射（预测）。

8.2神经网络的算法原理 MLP设计、训练和测试的步骤如下：（1）网络拓扑结构的确定及相关参数的初始化。（2）将原始数据集归一化，输入到神经网络的输入层。（3）计算网络数据实际输出与样本数据期望输出之间的误差，并依据得到的误差信息反向传播到输入层，同时调整各层之间的权值、偏置。（4）循环迭代(2)、(3)两个过程，逐步降低计算误差，直到误差达到设定的目标误差或循环迭代次数达到设定的最大次数。（5）获取到最优的权值、偏置。（6）提取检测样本的输入信息，借助第(5)步获取到的最优的权值、阈值，便可计算出测试样本的预测输出。

8.2神经网络的算法原理

8.2神经网络的算法原理

8.2神经网络的算法原理8.2.2卷积神经网络CNN 卷积神经网络CNN是目前最热门的神经网络模型之一，因其良好的特征提取能力和分类预测效果，被广泛应用于图像识别、人脸识别和自然语言处理等领域。CNN的局部连接、权值共享和下采样是区别于其他网络模型的显著特征。局部连接是指网络的两层神经元之间是部分连接的，权值共享是指对样本实施卷积运算时卷积核是相同的，下采样是对特征进行局部总结。 CNN主要由输入层、卷积层、池化层、全连接层和输出层构成，CNN的模型结构如图所示。卷积层的主要功能是提取样本特征，池化层的主要功能是对特征进行降维，全连接层是对经过卷积和池化操作后的特征图进行分类预测。

8.2神经网络的算法原理CNN结构图

8.2神经网络的算法原理1.卷积层 在卷积过程中，步长（stride）和填充（padding）是影响卷积结果的两个重要参数。步长表示卷积核每次滑动的距离大小，填充描述的是在输入数据的基础上向外围扩充的大小，填充能够保证卷积前后数据的维度大小保持一致，若不进行填充，每次卷积操作后输出特征图的维度都会缩小，经过多次卷积操作后输出特征图的维度将小到难以进行卷积操作。填充的使用就是为了避免在深层卷积神经网络的卷积过程中出现数据维度太小而无法进行卷积的问题。值得注意的是，一个卷积层并不是只有一个卷积核，往往有多个，卷积层输出的特征图数量与卷积核数量相同。

8.2神经网络的算法原理

8.2神经网络的算法原理 为了增加网络的非线性表达能力，一般在卷积层之后会接一个激活函数。常接在卷积层之后的激活函数包括：ReLU函数、Sigmoid函数和LeakyReLU函数等。 总结卷积层的2个主要思想： 一是局部连接，通过卷积核逐块对输入数据的分块相乘再求和，考虑了事物的就近相关性，克服了BPNN缺乏空间推理能力的问题。 二是权值共享，通过使用相同的权重矩阵对输入数据的每一个数据块进行卷积，减少了存储权值的空间，降低了计算过程的复杂度，初步克服了BPNN参数爆炸的问题。

8.2神经网络的算法原理2.池化层 池化层的主要作用是在卷积层的基础上对局部特征信息进行总结，达到特征降维的目的，从而减少参数和计算量，进一步解决参数爆炸问题。池化操作是在特征图上通过一个大小为s×s的矩阵窗口进行滑动