机器学习 课件 10.2多层感知机.pdf

多层感知机

多层感知机

多层感知机1

模拟异或函数的多层感知机1

00

或门

∨

12

1

1与门

（∧）∨(∧)

-1121

1

1∧

12

-11

11.5

0.5-1.5与非门10

1

输入层隐藏层输出层

多层感知机

通用近似定理

•如果一个多层感知机具有线性输出层和至少一层隐藏层，

只要给予其足量的隐层神经元，它可以以任意精度近似

任何从一个有限维空间到另一个有限维空间的Borel可测

函数

……=

…

…

多层感知机

多层感知机的学习

•超参数（预先设定）

•神经元个数，隐藏层个数，激活函数等

•主要学习内容

•连接神经元的边的权重

•如何学习

•数值优化：拟合训练数据

•≈最小化网络在训练数据上的误差

多层感知机

误差与损失函数

•误差

()

−

•均方误差损失函数

1

()2

=(−)

1

多层感知机

反向传播算法

•目标：找到让损失函数最小的网络参数=argmin⁡(

•把损失看成由参数自变量的函数

•怎样找到山谷里最低点的坐标

•迭代地修正已有参数

•向最小化损失函数的方向

•直到损失不再减小或达到指定步数

多层感知机

反向传播算法

+Δ