模式识别课程作业proj03-01.doc

模式识别理论与方法 课程作业实验报告 实验名称：Maximum-Likelihood Parameter Estimation 实验编号：Proj03-01 姓 名： 学 号：规定提交日期：2012年3月27日 实际提交日期：2012年3月27日 摘 要： 参数估计问题是统计学中的经典问题，其中最常用的一种方法是最大似然估计法，最大似然估计是把待估计的参数看作是确定性的量，只是其取值未知。最佳估计就是使得产生已观测到的样本的概率为最大的那个值。 本实验研究的训练样本服从多元正态分布，比较了单变量和多维变量的最大似然估计情况，对样本的均值、方差、协方差做了最大似然估计。 实验结果对不同方式计算出的估计值做了比较分析，得出结论：对均值的最大似然估计就是对全体样本取平均；协方差的最大似然估计则是N个矩阵的算术平均，对方差的最大似然估计是有偏估计。 技术论述 （1）高斯情况：均未知 实际应用中，多元正态分布更典型的情况是：均值和协方差矩阵都未知。这样，参数向量就由这两个成分组成。 先考虑单变量的情况，其中参数向量的组成成分是：。这样，对于单个训练样本的对数似然函数为： （1） 对上式关于变量对导： （2） 运用式=0，我们得到对于全体样本的对数似然函数的极值条件 （3） （4） 其中，分别是对于，的最大似然估计。 把，用，代替，并进行简单的整理，我们得到下述的对于均值和方差的最大似然估计结果 （5） （6） 当高斯函数为多元时，最大似然估计的过程也是非常类似的。对于多元高斯分布的均值和协方差矩阵的最大似然估计结果为： （7） （8） 二、 实验结果 （a）类w1中的3个特征向量，各含10个样本 w1_x1=[0.42 -0.2 1.3 0.39 -1.6 -0.029 -0.23 0.27 -1.9 0.87]; w1_x2=[-0.087 -3.3 -0.32 0.71 -5.3 0.89 1.9 -0.3 0.76 -1.0]; w1_x3=[0.58 -3.4 1.7 0.23 -0.15 -4.7 2.2 -0.87 -2.1 -2.6]; 利用式子（5）、（6）对均值和方差进行最大似然估计，分别得到结果为： u1=-0.0709 s1=0.9062 u2=-0.6047 s2=4.2007 u3=-0.9110 s3=4.5419 将任意两个特征组合，处理二维数据的情形： 利用式子（7）、（8）对均值和协方差矩阵进行最大似然估计，分别得到结果为： u12 =-0.0709 -0.6047 E12 = 0.9062 0.5678 0.5678 4.2007 u13 = -0.0709 -0.9110 E13 =0.9062 0.3941 0.3941 4.5419 u23 =-0.6047 -0.9110 E23 =4.2007 0.7337 0.7337 4.5419 （b）将W1类中三个特征组合，处理三维数据情形 利用式子（7）、（8）对均值和协方差矩阵进行最大似然估计，分别得到结果为： u123 =-0.0709 -0.6047 -0.9110 E123 =0.9062 0.5678 0.3941 0.5678 4.2007 0.7337 0.3941 0.7337 4.5419 （c）假设W2类中三维高