智能控制理论及应用 第10章 神经网络的应用及控制.ppt

***************主要内容10.1神经网络应用技巧10.2神经网络用于控制10.2.1单神经元PID自适应控制器算法10.2.2神经网络前馈学习控制10.1神经网络应用技巧神经网络的训练流程第10章10.1神经网络应用技巧（1）数据选择神经网络学习的来源为样本数据，因此数据的质量和数量是决定神经网络效果的根本。训练神经网络的数据必须覆盖神经网络可能会用到的输入空间。尽量采用标准化操作自行设计数据收集的实验，以保证实验的设置能够遍历使用神经网络时的所有情况；如果无法控制数据收集的过程，则尽量使用所有收集到的数据，待训练完成后通过分析训练好的网络，判断训练数据是否充分，结果是否可靠？1.训练前的准备第10章10.1神经网络应用技巧（2）数据预处理：数据归一化特征选择或提取输入/目标变量的编码缺失数据处理数据集的划分1.训练前的准备第10章10.1神经网络应用技巧数据归一化：最大最小归一化均值方差归一化1.训练前的准备第10章10.1神经网络应用技巧1.训练前的准备特征选择从原始特征集中选择出有效的特征子集，是一种包含的关系分为Filter型、Wrapper型和Embedded型三大类特征提取通过属性间的关系，如组合不同的特征得到新的特征代表性算法：主成分分析PCA、独立成分分析ICA、线性判别分析LDA、典型相关分析CCA以及各种核方法第10章10.1神经网络应用技巧1.训练前的准备输出编码（举例：四个类的模式识别问题）用四个数值{1,2,3,4}来表示目标输出；用二进制编码来表示四种类型，即{(0,0),(0,1),(1,0),(1,1)}；使用四位输出{(1,0,0,0),(0,1,0,0),(0,0,1,0),(0,0,0,1)}进行编码。匹配对应的激励函数第10章10.1神经网络应用技巧1.训练前的准备缺失数据处理丢弃法；补全法：利用已有数据补全缺失数据；如果某输入变量中存在缺失数据，可以用该变量的平均值或邻近值代替缺失数据，并用额外的标记对其进行标注；如果目标中的某些数据存在缺失，则可以修改性能指标，去掉与缺失的目标输出值相关联的误差信息。第10章10.1神经网络应用技巧1.训练前的准备数据集划分训练集、验证集、测试集；通常的比例为：70%、15%、15%。注意：这些子集应该能够代表整个数据集，即三个子集覆盖一样的输入空间，因此最简单的数据划分方法是每个子集从整个数据集中随机选择。第10章10.1神经网络应用技巧（3）网络类型及结构选择：拟合/回归：目标变量为连续值隐层采用Tan-Sigmoid，输出层采用线性神经元的多层感知器。径向基网络：隐层使用高斯激励函数，输出使用线性激励函数。分类：目标变量为离散量多层感知器用于模式识别问题时，输出层通常使用Sigmoid或者Softmax函数。径向基函数也可以用于模式识别。1.训练前的准备第10章10.1神经网络应用技巧对于多层网络，权重和偏差通常设置为较小的随机值。如果输入归一化到-1到1之间，则均匀分布在-0.5到0.5之间。如果初始化权值和偏置量为0，初始条件可能会落在性能曲面的鞍点上；如果初始权值很大，由于Sigmoid函数趋于饱和，初始条件可能落在性能曲面的平坦部分。2.网络训练权值初始化第10章10.1神经网络应用技巧对于多层网络，通常使用基于梯度或Jacobian的算法；对于有几百个权值的多层网络，Levenberg-Marquardt算法运算最快；当权值数量达到上千或更多时，Levenberg-Marquardt算法就不如共轭梯度方法效率高。2.网络训练训练算法选择第10章10.1神经网络应用技巧性能指标2.网络训练均方误差带正则项的均方误差交叉熵第10章10.1神经网络应用技巧终止条件设置最大迭代次数：如果达到最大迭代次数时，权值依然没有收敛，可以使用上一次训练得到的权值初始化网络并重新开始训练。性能指标梯度的范数（通常采用误差平方和）为零或为一很小值时停止训练。2.网络训练第10章10.1神经网络应用技巧（1）拟合问题MSE与Epochs3.训练结果分析第10章10.1神经网络应用技巧（1）拟合问题3.训练结果分析ty网络输出与对应的目标输出做回归计算两者之间的相关系数R（希望R接近1）第10章10.1神经网络应用技巧（1）