神经网络基本原理.ppt

*有关感知器XOR问题求解的讨论

明斯基（Minsky）仔细从数学上分析了以感知器为代表的神经网络系统的功能和局限性，于1969年发表了《Perceptron》一书。书中指出感知器仅能解决一阶谓词逻辑问题，不能解决高阶谓词逻辑问题,并给出了一个简单的例子，即XOR（异或）问题，如下表所示，它是不能直接通过感知器算法来解决的。

点输入x1输入x2输出y

A1 0 0 0

B1 1 0 1

A2 1 1 0

B2 0 1 1?

XOR（异或）真值表

第64页,共81页，2024年2月25日，星期天* 点输入x1输入x2输出y

A1 0 0 0

B1 1 0 1

A2 1 1 0

B2 0 1 1?

由上表可以看出，只有当输入的两个值中有一个为1，且不同时为1时，输出的值才为1，否则输出值为0。 由于单层感知器的输出：y=f(ω1*x1+ω2*x2-θ)

可以看出，要用单层感知器解决异或问题，就必须存在ω1、ω2和θ，满足如下方程，但是方程组无解(线性不可分)。

ω1+ω2-θ＜0

ω1+0-θ≥0

0+0-θ＜0

0+ω2-θ≥0第65页,共81页，2024年2月25日，星期天*感知器神经网络应用的局限性单层感知器只能对线性可分的向量集合进行分类。对于“异或”问题可以用两个计算层的感知器来解决。第66页,共81页，2024年2月25日，星期天*B-P网络及其学习误差反向传播（ErrorBackPropagation）：美国加州大学的鲁梅尔哈特（Rumelhart）和麦克莱兰(Meclelland)等学者继续深入研究了感知器模型，他们抓住信息处理中的并行性和分布性这两个本质概念，1985年提出了一个神经网络反向传播模型，简称为B-P模型，这个模型既实现了明斯基（Minsky）所提出的多层网络的设想，又突破了感知器的一些局限性。第67页,共81页，2024年2月25日，星期天*B-P网络及其学习BP模型利用输出后的误差来估计输出层的直接前导层的误差，再利用这个误差估计更前一层的误差。如此下去，获得所有其他各层的误差估计。形成将输出表现出来的误差沿着与输入信号传送相反的方向逐级向网络的输入端传递的过程，因此称为后向传播（B-P）算法。第68页,共81页，2024年2月25日，星期天*B-P网络及其学习BP模型不仅有输人层节点、输出层节点，而且有一层或多层隐含节点。层与层之间多采用全互连方式，但同一层的节点之间不存在相互连接。………第69页,共81页，2024年2月25日，星期天*B-P网络的学习过程是由正向传播和误差反向传播组成的。当给定网络一组输入模式时，B-P网络将依次对这组输入模式中的每个输入模式按如下方式进行学习：把输入模式从输入层传到隐含层单元，经隐含层单元逐层处理后，产生一个输出模式传至输出层，这一过程称为正向传播。第70页,共81页，2024年2月25日，星期天*如果经正向传播在输出层没有得到所期望的输出模式，则转为误差反向传播过程，即把误差信号沿原连接路径返回，并通过修改各层神经元的连接权值，使误差信号为最小。重复正向传播和反向传播过程，直至得到所期望的输出模式为止。第71页,共81页，2024年2月25日，星期天*BP网络除了在多层网络上与单层感知器不同外，其主要差别也表现在激活函数上。BP网络的激活函数必须是处处可微的，因此它不能采用二值型的阀值函数