5_神经网络讲义.ppt

* 神经网络学习就是不断调整权重的过程。 训练之前，必须将数据集分为训练数据集和测试数据集，将权重指定给第一层的神经元。 大多数软件包使用向后传播方法(Back propagation)，任何一种后向传播算法的最重要部分都是使用误差度量来调整权重。 后向传播神经网络通过更新权重和偏置使得网络预测的误差达到最小。具体步骤如下： 通过输入节点将输入变量加以标准化，标准化后的变量数值落在0和1之间，或者是-1和1之间。 将网络权重初始值设定为0（或随机产生）。通过各节点的函数，估计数据的目标变量值。 * 六、权重和偏置的调整 比较实际值和估计值之间的误差，并根据误差值重新调整各权重和偏置。 重新执行第二步骤，反复执行，一直到实际值和估计值之间的误差值最小，此时才停止学习，此时获得最佳权重。 * * 举例说明权重和偏置的调整过程 1、首先利用随机的方式，产生各神经元间的权重，以及隐藏层与输出层神经元的偏置。 * w14 w15 w24 w25 w34 w35 w46 w56 0.2 -0.3 0.4 0.1 -0.5 0.2 -0.3 -0.2 θ4 θ5 θ6 -0.4 0.2 0.1 2、根据输入信号，计算各隐藏层神经元的输出信号，假设输入的样本是(X1,X2,X3,Y)=(1,0,1,1)。 神经元4： 神经元5： * x1 x2 x3 w14 w15 w24 w25 w34 w35 w46 w56 ?4 ?5 ?6 1 0 1 0.2 -0.3 0.4 0.1 -0.5 0.2 -0.3 -0.2 -0.4 0.2 0.1 3、根据隐藏层输出信号，计算输入层神经元的输出信号。 神经元6 * x1 x2 x3 w14 w15 w24 w25 w34 w35 w46 w56 ?4 ?5 ?6 1 0 1 0.2 -0.3 0.4 0.1 -0.5 0.2 -0.3 -0.2 -0.4 0.2 0.1 4、此时，输出值0.474与真值1不一致，我们可以计算神经元6的误差项。 神经元6的误差项： 5、将此误差项反馈至隐藏层，此时可以计算隐藏层神经元误差值。 神经元4误差项： 神经元5误差项： * x1 x2 x3 w14 w15 w24 w25 w34 w35 w46 w56 ?4 ?5 ?6 1 0 1 0.2 -0.3 0.4 0.1 -0.5 0.2 -0.3 -0.2 -0.4 0.2 0.1 6、最后根据神经元误差项，更新各神经元的权重以及偏置，假设学习速率为0.9。 * 学习速率：通常是介于0～1之间，当其数值越大，每次权数的修正量就越大。不能太小或太大。经验设置为1/t，t为迭代次数。 目前调整权重的方法是一种最陡坡降法。 x1 x2 x3 w14 w15 w24 w25 w34 w35 w46 w56 ?4 ?5 ?6 1 0 1 0.2 -0.3 0.4 0.1 -0.5 0.2 -0.3 -0.2 -0.4 0.2 0.1 如此，即达成一个学习循环的神经网络权重修正，接下来持续此步骤，使得输出值越来越接近真值，从而达到建立模型的目的。 另外，根据理论当学习时间无限长时，误差应该会无限接近于零。但事实上，如果当模型训练越久，就有可能出现过度拟合的问题，因此一般有两种方法来处理： 设定阀值。 使用测试样本。一般，测试组误差一开始会随着上述误差的减小而减小，但当过度拟合现象发生时，测试组的误差会开始从小到大变化。 * 七、神经网络的优点 神经网络可以建构非线性的模型，模型的准确度高。 神经网络有良好的推广性，对于未知的输入亦可得到正确的输出。 神经网络可以接受不同种类的变量作为输入，适应性强。 神经网络可应用的领域相当广泛，模型建构能力强。 神经网络具模糊推论能力，允许输出入变量具模糊性，归纳学习较难具备此能力。 * 八、神经网络的缺点 神经网络的隐藏层一般为1-2层，数目可设为任意数目，且有学习速率等参数需设定，工作相当费时。 神经网络以迭代方式更新阀值，计算量大，相当耗费计算机资源。 神经网络的解有无限多组，无法得知哪一组的解为最佳解。 神经网络是以建立数值结构（含加权值的网络）来学习，其知识结构是隐性的，缺乏解释能力。 * Logistic函数，alph=1 * 神经网络 * 什么是神经网络 神经网络（Neural Network，NN）类似人类神经结构，是“一种基于脑与神经系统研究，所启发的信息处理技术”。它具有人脑功能基本特性：学习、记忆和归纳。 神经