神经网络学习课件PPT.pptx
摘自《TalkingNets:AnOralHistoryofNeuralNetworks》封面—-
2008-2009学年第1学期
神经网络基础
■公元前400年左右，柏拉图和亚里士多德就曾对人类认知、记忆、思维进行过研究；
19世纪末，出现了神经元学说；美国生物学家W.James在《Physiology》一书中提到，“人脑中两个基本单元靠得较近时，一个单元的兴奋会传到另一个单元；
20世纪40年代，神经解剖学、神经生理学、神经元的电生理过程等有了突破性进展。
2008-2009学年第1学期
人脑中神经元(神经细胞)的结构
Cellbody
Nucleus0
2008-2009学年第1学期
Dendrites
Axon
十神经元之间的电信号传递突触(神经键)
①轴突后部裂出许多分枝，分枝末端有突触，突触与树突连接；
②轴突中的信号经突触转换为“阻止”或“激活”信号；
③当神经元的“净输入”超过阈值时，其沿轴突发出信号；
④改变突触的效能，神经元之间的影响随之改变，学习就发生了。2008-2009学年第1学期
生物神经元的结构
摘自张仰森《人工智能原理与应用》随书课件
2008-2009学年第1学期
I₁
W₁
W₂
∑
上
→y
IN
W
M-P模型中输入、输出的关系
摘自.eg/rehan/ann/231%20The%20McCulloch-Pitts%20Model%20of%20Neuron.htm
■1943年，W.S.McCulloch和W.A.Pitts合作提出了第一个
人工神经元模型(M-P模型);
f是阈值为T的阶跃函数
y=f(Sum)
2008-2009学年第1学期
突触
树突
十
加和
参考：
2008-2009学年第1学期
TM-P神经元模型
细胞体
轴突
阈值
1949年，DonalaU.Hebb在“The
OrganizationofBehavior一书中认为
口学习的过程最终发生在神经元之间的突触部位，突触的连接强度随着突触前后神经元的活动而变化；
□连接权的学习律正比于突触前后两个神经元的活动状态值的乘积；
□可假设权是对称的，细胞的互连结构是通过改变彼此的连接权创造出来的。
突触连接强度的可变性是学习和记忆的基础
2008-2009学年第1学期
▶
w;;(t+1)=w;(t)+η·y;·x;
学习率
2008-2009学年第1学期
■这是神经网络的
■神经元的输出
■连接权值的调整公式
THebb规则
1957年，FrankRosenblatt在M-P模型基础上，定义了
一个具有单层计算单元的神经网络结构，取名为“感知器”°y₁yjym
计算层
WiiWnj(输出层)
输入层
■■■■■■
x1x₂x:xn
2008-2009学年第1学期10
设计一个神经网络模型，
□除了明确网络的结构、神经元的传输函数(f);
□还要给出学习算法。
■学习算法用于得出神经网络中的各个参数。
□学习算法通常是迭代算法，对应神经网络的演变过程；
□算法收敛到一个稳定状态时，神经网络的各参数(连接权值、阈值等)就基本不变了；
□这个过程称为神经网络的学习或训练。
2008-2009学年第1学期
▶
人工神经网络的两个操作模式
训练模式(trainingmode)
口准备大量的有教师指导的(或无教师指导的)的训练样本(即实例),对ANN进行训练，确定ANN的内部参数(甚至结构)。
■使用模式(usingmode)
□输入一个实际例子，让ANN分析并给出结果。
2008-2009学年第1学期12
“感知器”是怎么训练的呢?