第七章 ch7参数估计知识.doc

第章　参 数 估 计 统计推断的两大基本问题 .1 点 估 计点估计：对总体分布函数中包含的未知参数作出统计推断，即作出估计． 先见下例，增加感性认识． 例1．设某次考试的成绩，、为未知参数．今随机地抽取6名考生，成绩分别为：68，75，45，61，87，72． 试估计及． 解：——考试的平均成绩； ——考试成绩（总体）的方差． 可用样本均值 及样本方差 来估计及． ； ． 得 的估计值68， 的估计值 200.8．估计量：设 为总体X的待估计的参数，由样本 构造统计量 来估计． 称为的一个估计量．相应于样本的一个观察值，称为的一个估计值． 推广到多个参数的情形设为总体分布中的一组未知参数， 用统计量 作为参数的估计则称k维统计量为参数向量 的估计如上例中的估计量 ， ； 估计值 ， ． 　　下面介绍两种常用的点估计法：矩估计法和最大似然法． 一矩估计法（数字特征法） 概率函数：称随机变量X的概率函数为， 是指 ． 设总体X的概率函数为的类型已知，为未知参数，待估计． 样本． 假设 X的前k阶矩存在． 由辛钦，， 且样本的连续函数总体矩的连续函数． 由． 　上述 称为矩估计量，相应的观察值称为矩估计值．此方法称为矩估计法． 例1．设总体 ，未知． 是一个样本，求 的矩估计量． 解：， 即 ． 例2．设总体 X的均值及方差均存在，且， 未知．样本，试求 的矩估计量． 解：． 特别，若， 未知，则 ． 例3．设总体 ，参数未知．样本，试求 的矩估计量． 解：， 得 ． 二最大似然法 ( Maximum Likelihood Estimators, 简称MLE ) 设总体X的概率函数 的类型已知，为未知参数，待估计．则样本 的联合概率密度（或分布律）为． 令 ——似然函数 ( likelihood function )． 结合例子介绍最大似然法的思想方法． 例子：设一袋中装有黑、白两种球，试通过摸球估计两者数量之比． 解：p ——摸到黑球的概率．只要估计p，．总体，p为未知参数．作n次放回抽样摸球， 令 得样本 ．， ()． 若() 为一组观察值， 概率函数 ； 似然函数 ． 假定摸球100次，观察值 中有9个为1，其余为0，此时 ． 最大似然法的主要思想：若在一次观察中一个事件出现了，则可以认为此事件出现的概率很大． 令 ， 求 ． 令 ， 当 时， 取max．黑球 : 白球= 0.09 : 0.91= 9 : 91． 用同样的思想方法可以估计连续随机变量总体的未知参数． 最大似然估计法： 设总体X的概率函数为 的类型已知，为未知参数．作似然函数 ． 若存在 的一个估计值，使 ， 则称 为的一个最大似然估计值； 称 为的一个最大似然估计量． 方法：求的问题就是求的最大值问题．当可导时，可由 求得． 因 与在同一个值处取得最值，也可由 ．　(对数似然方程) 例1．设总体 ，未知参数． 样本，试求 的最大似然估计量． 解：概率函数 ；， ， ，（最大似然估计值）； 最大似然估计量 ． 例2．设总体，，未知参数 ．为一组观察值，试求 的最大似然估计量． 解：似然函数 ，；， （最大似然估计值）；最大似然估计量 ． 最大似然估计法可用于多个未知参数的概率函数 的总体． 这时 ． 求k元函数 L的最大值， 可令 ， 解得 ． 例3．设总体，参数 未知．样本，试求的最大似然估计量． 解：； 似然函数 ； ； ，得 ．X 1 2 3 P 例．设总体 其中为未知参数．，试求的最大似然估计． 解：． 设 为样本，则似然 ． ， （最大似然估计值）． .2 点估计的评标准 上面介绍了两种点估计法．对同一参数，用不同的估计法可能得到不同的估计量．那么，究竟采用哪一个好呢？这就涉及到估计量的评选标准问题．本节介绍三种评选标准：无偏性、有效性及相合性．这些标准都是刻画了估计量与参数之间在概率意义下的接近程度． ．无偏性 估计量是随机变量，我们希望其数学期望等于未知参数的真值．这样，估计值在未知参数真值左右徘徊． 定义：设 为总体X中的待估参数，样本，为的一个估计量，若，则称为的一个无偏估计量； 否则，称为有偏估计量． 注：常称为的估计的系统误差．无偏估计量就是无系统误差．无偏性不是没有偏差，它有随机误差，无系统误差． 例1．样本均值和样本方差分别是总体均值和总体方差的无偏估计量． ， ， ， ． 若取二阶中心矩 作为 的估计量， ——有偏估计量． 注：一般地，若是的一个有偏估计量，且．可取 ，则是的一个无偏估计量． ．有效性设和是未知参数的两个无偏估计量：．现进一步比较这两个估计量的优劣．如果更