第3.2节贝叶斯估计.ppt

第3.2节　贝叶斯估计 一、先验分布与后验分布 二、共轭先验分布 三、贝叶斯风险 四 、贝叶斯估计 再 见 定义3.7 设d=d(x)为决策函数类D中任一决策函数， 损失函数为L(?,d(x)),则L(?,d(x)),对后验分布h(?|x)的 数学期望称为后验风险，记为 注 如果存在一个决策函数，使得 则称此决策为后验风险准则下的最优决策函数，或称 为贝叶斯（后验型）决策函数。 定理3.5 对给定的统计决策问题(包含先验分布给 定的情形）和决策函数类D,当贝叶斯风险满足如下条 件： 定理表明：如果决策函数使得贝叶斯风险最小，此决策函数也使得后验风险最小，反之，也成立. 证明从略 定理3.6 设?的先验分布为?(?)和损失函数为 证 则?的贝叶斯估计为 设m为h(?|x)的中位数，又设d=d(x)为?的另一 估计，为确定期间，先设dm,由绝对损失函数的定义可得 又由于 则 由于m是中位数，因而 则有 于是，当dm时 同理可证，当dm时 因而 定理3.7 设?的先验分布为?(?)和损失函数为 则?的贝叶斯估计为 证 首先计算任一决策函数d(x)的后验风险 为了得到R(d|x)的极小值，关于等式两边求导： 即 则 例5(p94 例3.11) 设总体X服从两点分布B(1,p), 其中参数p未知，而p在[0,1]上服从均匀分布，样本 试求参数p的贝叶斯估计与贝叶斯风险? 解 平方损失下的贝叶斯估计为： 而 其贝叶斯风险为 又因为 则 所以 例6(p96 例3.12) 设总体X服从正态分布N(?,1), 其中参数?未知，而?服从标准正态布在N(0,1)，样本 试求参数?的贝叶斯估计? 解 平方损失下的贝叶斯估计为： 而 化简得 例7(p97 例3.13) 设总体X服从均匀分布U(0,?), 其中参数?未知，而?服从pareto分布，其分布函数与 密度函数分别为 试求参数?的贝叶斯估计? 解 根据定理3.6可知，绝对值损失对应的贝叶斯估计为 后验分布的中位数,即 则 根据定理3.4可知，平方损失对应的贝叶斯估计为 后验分布的均值,即 一、先验分布和后验分布 二、共轭先验分布 三、贝叶斯风险 四、贝叶斯估计 上一章提出用风险函数衡量决策函数的好坏，但是由于风险函数为二元函数，很难进行全面比较。贝叶斯通过引入先验分布，给出了整体比较 的指标. 1、先验信息 在抽取样本之前，人们对所要估计的未知参数所了解的信息，通常称为先验信息. 例1(p84例3.6) 某学生通过物理试验来确定当地 的重力加速度，测得的数据为(m/s2): 9.80, 9.79, 9.78, 6.81, 6.80 试求当地的重力加速度. 解 用样本均值估计其重力加速度应该是合理的，即 由经验可知，此结果是不符合事实的。在估计之前 我们知道，重力加速度应该在9.80附近，即 这个信息就是重力加速度的先验信息. 在统计学中，先验信息可以更好的帮助人们解决 统计决策问题. 贝叶斯将此思想应用于统计决策中，形成了完整的贝叶斯统计方法. 2、先验分布 对未知参数?的先验信息用一个分布形式?(?)来 表示，此分布?(?)称为未知参数?的先验分布. 例如 例1中重力加速度的先验分布为 3、后验分布 在抽取样本之前，人们对未知参数有个了解，即先验分布。抽取样本之后，由于样本中包含未知参数的信息，而这些关于未知参数新的信息可以帮助人们修正抽样之前的先验信息。 而样本值是在知道?的先验分布的前提下得到的，因而上述分布可以改写为 由此可以得到 例2(p86例3.7) 为了提高某产品的质量，公司经理 考虑增加投资来改进生产设备，预计需投资90万元， 但从投资效果来看，顾问们提出两种不同的意见： 经理根据以往的经验，两个顾问建议可信度分别为 这两个概率是经理的主观判断（也就是先验概率）， 为了得到更准确的信息，经理决定进行小规模的试验，实验结果如下： A：试制5个产品，全是正品， 由此可以得到条件分布： 由全概率公式可以得到： 其后验概率为： 显然经理对二位顾问的看法已经做了修改，为了得到更准确的信息，经理又做了一次试验，结果为 B：试制10个产品，9个是正品， 由此可见后验分布更能准确描述事情真相. 为了使得后验分布计算简单，为此引入共轭先验分布. 定义3.5 注 共轭分布族总是针对分布中的某个参数而言的. 1、共轭分布族 2、后验分布核 由上一小节内容可知，后验分布为 可以看出，m(x)不依赖于参数?,因而参数?的后验 分布可以写为如下等价形式： 3、共轭先验分布族的构造方法 共轭先验分布族共有两种构造方法. 第一种方法