特征选择与特征提取.ppt

模式识别，第八章 * K-L变换 X 原空间 y 新空间 y X 模式识别，第八章 * K-L变换 则平方误差为 模式识别，第八章 * K-L变换 由于 则有 模式识别，第八章 * K-L变换 若现有一批样本，则均方误差为： 可见，均方误差与基底向量 和 有关 模式识别，第八章 * K-L变换 如何选择 和 ，使得均方误差 最小？ 为什么要这样做？ 模式识别，第八章 * K-L变换 首先考虑若 确定，如何选择 ？ 令 即 模式识别，第八章 * K-L变换 则有 模式识别，第八章 * K-L变换 再考虑当 用最佳值 代替后， 如何确定？ 模式识别，第八章 * K-L变换 确定后，均方误差 模式识别，第八章 * K-L变换 即： 协方差矩阵 经典数学问题 模式识别，第八章 * K-L变换 结论： 使均方误差 最小的基底向量 ，即是协方差矩阵 的本征向量 如何求本征向量？ 模式识别，第八章 * K-L变换 本征值 协方差矩阵 的本征值，即满足 的 值 共有i 个本征值 单位矩阵 模式识别，第八章 * K-L变换 本征向量 满足方程 的向量 共有i 个本征向量 模式识别，第八章 * K-L变换 当 为协方差矩阵 的本征向量时，均方误差 可见应保留本征值较大的本征向量为基底向量！为什么？ 模式识别，第八章 * K-L变换 总结： 将 压缩到 将产生误差 压缩维数越多 将越大，即丢失的信息越多。 模式识别，第八章 * K-L变换 为了有效减少 ，应在压缩时，保留本征较大的本征向量为基底向量，即排序 而选择本征值较大的m个本征向量为基底向量 压缩后的特征向量为 模式识别，第八章 * K-L变换 而 称为X的m个主成份 模式识别，第八章 * K-L变换 K-L变换进行特征维数压缩的过程： 获取一批学习样本 计算其均值 计算其协方差矩阵 计算协方差矩阵的n个本征值 模式识别，第八章 * K-L变换 将 由大到小排序值为 计算本征值对应的本征向量 ，即 根据具体要求将特征向量降为m维向量 模式识别，第八章 * K-L变换 例：设已知样本的特征向量为： 试用K-L变换将X压缩为一维的4个样本，并求出均方误差 模式识别，第八章 * K-L变换 X2 X3 X4 X1 模式识别，第八章 * K-L变换 解： 求出样本均值 （期望值） 模式识别，第八章 * K-L变换 求协方差矩阵 模式识别，第八章 * K-L变换 计算协方差矩阵的本征值 即计算 解得 模式识别，第八章 * K-L变换 计算协方差矩阵的本征向量 解得： 模式识别，第八章 * K-L变换 特征压缩后 模式识别，第八章 * K-L变换 Y3 Y4 Y1 Y2 模式识别，第八章 * K-L变换 均方误差 模式识别，第八章 模式识别Pattern Classification 第八章:　特征选择与特征提取 模式识别，第八章 * 引言 特征是决定样本之间的相似性和分类器设计的关键 如何找到合适的特征是模式识别的核心问题 在实际问题中, 常常不容易找到那些最重要的特征 或者受条件限制不能对它们进行测量, 这使得特征选择和提取的任务复杂化 特征选择成为构造模式识别系统、提高决策精度的最困难的任务之一 模式识别，第八章 * 引言 模式三大基本特征：物理、结构和数字特征 物理和结构特征：易于为人的直觉感知，但有时难于定量描述，因而不易用于机器判别 数字特征：易于用机器定量描述和判别，如基于统计的特征 模式识别，第八章 * 引言 一般情况下普遍认为，增加特征向量的维数（增加特征数）将有助于提高分类器的质量 但实际应用中特征维数却收到多方面因素的约束和限制 用较多的特征进行分类器设计，无论从计算的复杂程度还是就分类器性能来看都是不适宜的 模式识别，第八章 * 特征的形成 特征形成 (acquisition)： 信号采集→原始测量→原始特征 实例 数字图像中的各像素灰度值 人体的各种生理指标 语音的音调周期、共振峰、声道参数、频谱 模式识别，第八章 * 特征的形成 高维原始特征不利于分类器设计 计算量大 信息冗余 模式识别，第八章 * 特征选择与提取 分析原始特征的有效性，选出最有代表性的特征是模