文档详情

ann10 神经网路 第10章 概率神经网络.pdf

发布:2017-09-28约4.04万字共106页下载文档
文本预览下载声明
神经网络 Neural Networks 第十章 概率神经网络 史忠植 中国科学院计算技术研究所 / 内容提要 • 10.1 概述 • 10.2 贝叶斯定理 • 10.3 概率密度函数 • 10.4 模式分类的贝叶斯判定策略 • 10.5 密度估计的一致性 • 10.6 概率神经网络 • 10.7 激活函数 • 10.8 贝叶斯阴阳系统理论 2014/4/14 史忠植 神经网路 2 样本空间和事件 考虑一个事先不知道输出的试验: • 试验的样本空间:所有可能输出 W的集合 如果抛掷两次硬币,则样本空间为 = H H ,H T , TH , T T • 事件A是样本空间的子集 上述试验中第一次正面向上的事件为A= HH, HT 2014/4/14 史忠植 神经网路 3 概率 • 对每个事件A ,我们定义一个数字P(A) ,称为A 的概率。概率根据下述三条公理: 1、事件A 的概率是一个非负实数:(A) ≥ 0 2、合法命题的概率为1:() = 1 3、对两两不相交(互斥)事件A1, A2, … , 从上述三个公理,可推导出概率的所有的其他性质 。频率学派和贝叶斯学派都满足该公理 2014/4/14 史忠植 神经网路 4 分布函数 • 令X为一随机变量, x 为X的一具体值(数据) • 则随机变量X的累积分布函数 (cumulative distribution function, CDF) 定义为 • 若X的取值为一些可数的数值{x1 ,x2, } 则称其 为离散型随机变量。 2014/4/14 史忠植 神经网路 5 统计概率 统计概率:若在大量重复试验中,事件A发生的频率稳 定地接近于一个固定的常数p,它表明事件A出现的可 能性大小,则称此常数p为事件A发生的概率,记为 P(A), 即 p=P(A) 可见概率就是频率的稳定中心。任何事件A的概率为 不大于1的非负实数,即 0<P(A)<1 2014/4/14 史忠植 神经网路 6 概率分布 • 对连续型随机变量X,如果存在一个函数P ,使得对 所有的x,p 0 ,且对任意a b 有 • 则函数 被称为概率密度函数 (probability density function, pdf)。 • 当F可微时 2014/4/14 史忠植 神经网路 7 Bernoulli 分布 • 一些离散分布的例子: 1:X为一次抛硬币的输出, • 我们称X服从参数为θ的Bernoulli分布,记为 2014/4/14
显示全部
相似文档