刘常胜-极大似然估计讲述.ppt

分析 * * §1.3 极大似然估计 数理系：刘常胜 一、知识回顾 上一讲我们学习了估计总体未知参数的矩估计法 1，矩估计法的理论基础是大数定律（Law of Large Numbers） 2，矩估计法的求解 列矩方程组 3，矩法的优点是简单易行,并不需要事先知道总体是什么分布 . 4，矩法的缺点是，当总体类型已知时，没有充分利用总体分布提供的信息 ；当样本容量较小的时候，大数定律可能就不准确。 针对矩法估计的这两个缺点，德国数学家高斯（Gauss） 和英国统计学家费歇（Fisher）提出了一个非常著名的统计 推断方法。 极大似然估计法 二、 极大似然估计法 它是在总体类型已知条件下使用的一种参数估计方法 . 它首先是由德国数学家高斯在 1821年提出的 . 然而,这个方法常的深入研究归功于英国统计学家费歇 . Guass Fisher 费歇在1922年重新发现了这一方法，并首先研究了这种方法的一些性质 . 极大似然法的基本思想 先看一个简单例子： 某位同学与一位猎人一起外出打猎 .一只野兔从前方窜过 .只听一声枪响，野兔应声倒下 .如果要你推测，是谁打中的呢？ 你就会想，只发一枪便打中, 猎人命中的概率一般大于这位同学命中的概率 . 看来这一枪是猎人射中的 . 这个例子所作的推断已经体现了极大似然法的基本思想 . 极大似然估计原理： 当给定样本 是样本的观察值 . 设 是取自总体 的一个样本， 是总体的未知参数向量， 为样本的联合密度函数（连续型）或样本的联合概率分 布律（离散型）. 时，定义样本的似然函数如下 这里 首先，固定 看成 的函数，若 说明抽样时，出现 的可能性要比出现 的可能性大。 其次，我们把这件事反过来，可以这样想，当已 经观察到 如果 则被估计的参数是 的可能性要比是 的可能性大。 由以上两点的分析，我们就可以对似然函数有更深入的理解，总结为一点就是 将似然函数： 看作参数 的函数，它可作为 将以多大可能产生样本值 的一种度量 . 称为 的极大似然估计量（MLE）. 极大似然估计就是用使得 达到最大的那个值作为 的最大似然估计值,记 称 为总体参数 的极大似然估计值，而相应的统计量 （Maximum Likelihood Estimator） 三、极大似然估计（MLE）的求解 求最大似然估计(MLE)的一般步骤是： 1、 由总体分布导出样本的联合分布律(或联合密度);进而得到似然函数 2、求似然函数L( ) 的最大值点，可以应用微积分中的技巧。由于ln(x)是 x 的增函数, lnL( )与L( )在 的同一值处达到它的最大值，假定 是一实数，且lnL( )是 的一个可微函数。通过求解方程： 可以得到 的MLE . 3、如果用上述求导方法求参数的MLE有时行不通，这时要用极大似然原则来求 . 4、 在最大值点的表达式中, 用样本代替样本 观测值就得参数的极大似然估计值 . 注：对于不能用求导方法求MLE的情况特别 复杂，我们下一讲来专题讨论这个问题。 下面举例说明如何求导方法来求最大似然估计 L(p)= f (x1, x2,…, xn; p ) 例、设X1,X2,…Xn是取自总体 X~B(1, p) 的一个样本，求参数p的最大似然估计量. 解：似然函数为: 对数似然函数为： 对p求导并令其为0， =0 得 即为 p 的极大似然估计值 . 从而 p 的极大似然估计量为 为了估计湖中的鱼数N，第一次捕上 r 条鱼 ， 做上记号后放回. 隔一段时间后, 再捕出 S 条鱼 , 结果发现这S条鱼中有k条标有记号.根据这个信息，如何估计湖中的鱼数呢？ 四、思考题 这一讲，我们介绍了参数极大似然估计, 给出了寻求极大似然估计量的方法和原理 . 五、小结 1，极大似然估计产生的背景 2、极大似然估计的原理 作业 3、 极大似然估计的求解方法 《概率统计》习题七、4，5