ann10 神经网路 第10章 概率神经网络.pdf
文本预览下载声明
神经网络
Neural Networks
第十章
概率神经网络
史忠植
中国科学院计算技术研究所
/
内容提要
• 10.1 概述
• 10.2 贝叶斯定理
• 10.3 概率密度函数
• 10.4 模式分类的贝叶斯判定策略
• 10.5 密度估计的一致性
• 10.6 概率神经网络
• 10.7 激活函数
• 10.8 贝叶斯阴阳系统理论
2014/4/14 史忠植 神经网路 2
样本空间和事件
考虑一个事先不知道输出的试验:
• 试验的样本空间:所有可能输出 W的集合
如果抛掷两次硬币,则样本空间为 = H H ,H T ,
TH , T T
• 事件A是样本空间的子集
上述试验中第一次正面向上的事件为A= HH, HT
2014/4/14 史忠植 神经网路 3
概率
• 对每个事件A ,我们定义一个数字P(A) ,称为A
的概率。概率根据下述三条公理:
1、事件A 的概率是一个非负实数:(A) ≥ 0
2、合法命题的概率为1:() = 1
3、对两两不相交(互斥)事件A1, A2, … ,
从上述三个公理,可推导出概率的所有的其他性质
。频率学派和贝叶斯学派都满足该公理
2014/4/14 史忠植 神经网路 4
分布函数
• 令X为一随机变量, x 为X的一具体值(数据)
• 则随机变量X的累积分布函数
(cumulative distribution function, CDF) 定义为
• 若X的取值为一些可数的数值{x1 ,x2, } 则称其
为离散型随机变量。
2014/4/14 史忠植 神经网路 5
统计概率
统计概率:若在大量重复试验中,事件A发生的频率稳
定地接近于一个固定的常数p,它表明事件A出现的可
能性大小,则称此常数p为事件A发生的概率,记为
P(A), 即
p=P(A)
可见概率就是频率的稳定中心。任何事件A的概率为
不大于1的非负实数,即
0<P(A)<1
2014/4/14 史忠植 神经网路 6
概率分布
• 对连续型随机变量X,如果存在一个函数P ,使得对
所有的x,p 0 ,且对任意a b 有
• 则函数 被称为概率密度函数 (probability
density function, pdf)。
• 当F可微时
2014/4/14 史忠植 神经网路 7
Bernoulli 分布
• 一些离散分布的例子:
1:X为一次抛硬币的输出,
• 我们称X服从参数为θ的Bernoulli分布,记为
2014/4/14
显示全部