《贝叶斯统计》读书报告.doc

转 《贝叶斯统计》读书报告 第一次接触贝叶斯统计是在学精算的时候，当时书上使用先验分布和损失函数对参数进行贝叶斯估计，因为当时无法理解，就到图书馆找了本书看。在这些书中峁诗松的《贝叶斯统计》是本不错的书，这本书比较浅显所举例子多而且经典，通俗易懂，是本很好的贝叶斯入门书。这本书我前前后后看过两三次了，前几次大多只看到先验分布的选取部分，而这一次终于决定把统计决策部分也一并看完。 贝叶斯统计最基本的观点就是把参数也看作是一个随机变量，并用先验分布来描述其概率性质，当获取到抽样信息时，利用贝叶斯公式得到参数的后验分布，而所有的统计推断都从后验分布中获取。贝叶斯统计综合了总体信息，先验信息还有抽样信息，而经典统计只利用了总体信息和抽样信息。从利用信息的角度，贝叶斯统计是优于经典统计。但问题是我们能把固定未知的参数看做具有先验分布的随即变量吗?这种观点是否合理?这里不可避免的将涉及到哲学的探讨。但不管怎样，贝叶斯统计把主观经验历史资料等用统计学加以量化使其参与到统计推断及决策中来。这一点是非常有趣的。一旦把参数也看做随机变量很多问题的解释就变得简单。比如对置信区间的理解，由于在经典统计中把参数看做是一个固定的常数，参数或者在给出的置信区间里或者就不在，无所谓概率。而我们往往想知道的就是参数落入某区间的把握有多大，这是经典统计所无法给出的，经典统计只是说我们做了100个这样的随机区间大约有90个包含参数，显然这是种频率解释。而如果我们把参数当做随机变量，我们就可以说参数以0.9的概率落在求的的可信区间里。现实中我们也是这样理解的。在假设检验中也可看到贝叶斯统计处理上的简单。事实上，只要比较后验概率比就可以了，而这样的处理方法也适用于多个假设，并且对原假设没有偏倚。总之，贝叶斯统计在处理统计学经典问题--估计和检验时是非常自然而简单易行的。 但这里有几个问题，如果我们可以把参数当做随机变量，那么怎样选取先验分布尤其是当无信息时如何构造先验分布呢?另外为什么我们选取后验分布的期望或者众数作为参数的贝叶斯估计呢，其理论依据是什么?如果贝叶斯检验出现了错误，其犯错概率是多少(此问题是否合理)? 对于第一个问题，书上给出了很好的答案，有很多的方法构造先验。比如利用边缘分布法，估计超参法等。其中利用边缘法很有意思，它又分ML-2方法和矩方法，分别如下 1-- 2-- 更重要的是无信息时的先验分布，书中也提供了这方面的内容。像贝叶斯假设，Jeffreys先验等。其中Jeffreys是在不变准则下寻求的，它用Fisher信息阵的平方根作为参数的先验，而贝叶斯假设确定的先验分布一般是均匀分布，这从熵最大的准则下也是有道理的，当贝叶斯假设在无穷区间时确定的分布不是正常密度，因为其在全参数空间上的积分不是1，这就出现了问题。解决的办法是引入广义先验的概念，我们要求所求得的后验分布是正常密度即可。另一个问题是它不满足变换下的不变性，反例是对正态标准差。 这就是说先验分布不能随意的选取，要着重考虑先验选择的合理性。而这又依赖于对所研究的了解和历史经验的总结。先验分布的确立是个重要而复杂的问题！ 而对于第二个问题，看了统计决策理论就明白了。事实上，它们都是在不同的损失函数下贝叶斯统计决策问题的最优决策函数。后验均值是在平方损失下，后验中位数是个绝对损失下得到的。在学习统计学时，曾出现过一致最小方差无偏估计以及一致最优势检验等概念，这种概念上的类似，是否意味着可以用实质上一样的观点来看待呢?事实上，这是对的。它们都可以看做是一致最优的决策函数。 统计决策和统计推断的主要区别就在于统计决策需要考虑决策的后果，也就是损失函数。一个统计决策问题由三部分组成，即状态集、行动集以及损失函数。如对于假设检验问题，其状态集就是参数空间，行动只有两个--接受或者拒绝，相应的损失就是第一类和第二类错误。统计决策可分为三类，即仅使用先验信息的为无数据决策问题；仅使用抽样信息的称为经典统计决策；先验信息和抽样信息都用的为贝叶斯决策。对于无数据决策，主要有悲观准则、乐观准则、折中准则；先验期望准则；损失下的悲观准则、损失下的先验期望准则等，基本点就是损失尽可能小，收益尽可能大。对于经典统计决策，最主要的概念是风险函数，是损失函数在样本空间上的平均，对给定决策函数后是参数的函数，没法直接比较。于是产生了容许性的概念和最小最大估计。容许性的考虑不是选优，主要是排除非容许估计。但问题接着就来了，因为有很多我们熟知的估计都是非容许的，如正态方差的估计---样本方差，尤其是在1955年Stein指出在多元二次损失下，p》3时，样本均值向量是正态均值向量的非容许估计。这一发现导致了对容许性的研究。如我们要考虑类似的现象在其他分布族中是否也会出现?对一些分布族，容许估计的充分条件是什么?估计的容许性是估