模式识别非参数估计.PPT

非参数估计 引言 参数估计要求：概率密度函数的形式已知，只是部分参数未知。 实际应用中，一般给出的密度函数形式很少符合实际需求，即使是经典的密度函数参数形式，也很难满足实际需求。 非参数估计：不需要进行任何参数模型假设，直接从训练需样本估计概率密度函数；另一种方法是直接估计后验概率 参数估计方法：直方图、核方法 引言 引言 引言 非参数估计原理（核方法） 非参数估计原理（核方法） 的 Pazern窗 将核函数看作一个窗，统计样本落在窗内的个数来估计概率密度函数。 P Kn-近邻估计 最佳窗函数的选则是一个问题，一个比较好的方法就是，假设体积为训练样本个数的函数而不是硬性规定窗函数为全体样本个数的函数。 假如从N个样本中估计密度函数，以x为中心，让体积扩张，直到包含kn个样本为止， kn是关于N的函数。这些样本称为点x的kn个最近邻 概率密度估计表达式： 最大后验概率估计估计 说明 参考文献 * * 直方图方法： 二项式定理 K的二项式分布在均值附近有非常显著的波峰，因此k/n就是一个很好的概率估计。样本数多越准确 结合上式有 上式估计是概率密度的平均值，如果要获得真实值，则V趋向0；当样个数N固定，V趋向0,区域就很小，甚至不包含样本，估计无意义。如果正好有一个或者两个，则很大，也无意义 有两种途径获得区域： 估计x点密度的两种方法： 窗宽对密度函数的影响（单变量） 窗宽对密度函数的影响（双变量） 窗宽对密度函数的影响（双变量） 窗宽对密度函数的影响（双模） Pazern窗分类，左边h小，右边h大 * *