模式分类第九章.docx

School of Computer Science and Technology Nature Inspired Computation and University of Science and Technology of China Applications Laboratory Pattern Recognition Lecture 9 Output Calibration and Evaluation of PR Models 主要内容 Nature Inspired Computation and Applications Laboratory 校准分类器的输出 分类器的评测指标 估计分类器的推广性能（generalization performance） 校准分类器的输出 Nature Inspired Computation and Applications Laboratory 对于一个待分类的样本，任何分类模型（如Parzen窗方法、k-近邻、线性判别函数、神经网络、判定树等）判定该样本类别的本质可以理解为对 该样本属于不同类别的“可能性”进行打分，然后将其判定到得分最高的那一类。 在实际使用中，我们往往希望这些“可能性”直接表现为样本属于某一类别的后验概率，这样便 于我们利用一些概率方法寻求最优的判定函数。但是，许多模型（如神经网络、SVM）的输出本身并不满足这一要求，而某些模型的输出虽然满 足概率的一般条件，却可能很不准确。这就要求我们对分类器的输出进一步校准。 校准分类器的输出 Nature Inspired Computation and Applications Laboratory 对于一个2类分类问题，假定我们已经通过某种分类模型对n个样本进行了打分（score）。例如，对于SVM，我们获得一个n维向量。 考虑一个样本属于正类的后验概率，真实的概率是对于所有正类样本，概率为1，否则为0。 若我们希望将上述score校准为后验概率的形式，则本质上是需要在score和真实的后验概率之间寻找一个合适的映射，使得score在映射后尽可能地与真实的后验概率相匹配。 常用的三种校准方法 – Binning – Mapping with sigmoid function – Pair-Adjacent Violators (PAV) 校准分类器的输出 Nature Inspired Computation and Applications Laboratory Binning方法 将score的取值范围等分为k个区间，统计落到每一区间内的正类样本的数目 以及落到该区间的总样本数，两者的比值即为校准后的后验概率估计。 Mapping with sigmoid function 利用一个sigmoid function对score进行映射，保证其取值范围在（0，1）上，以满足作为后验概率的要求。 PAV – 将score由大到小排序，对于任意两个相邻的score(i)和score(j)，若样本 i属于正类，样本j属于负类，则我们都希望score(i)score(j) – 对于任意两个相邻的score，若上述条件不满足，则令这两个score所 定义区间对应的后验概率为样本i和j的真实后验概率的均值。 – 对排序后的score按照上述规则进行一次“扫描”，即完成了PAV。 分类器的评测指标 Nature Inspired Computation and Applications Laboratory 通过训练分类模型，我们永远希望获得具备较好性能的分类器，然而如何定义甚至量化分类器的好坏可能因人（或 具体问题）而异。许多现有的评测指标都可以通过分析分类器的confusion matrix获得。 Confusion matrix 考虑2类分类问题，在任何一个样本上，一个分类器有四种可能的行为，即：将正类样本分对，将负类样本分对，将正类样本分错，将负类样本分错。根据这四种行为出现的概率，我们可以建立如下的confusion matrix Predicted Positive Predicted Negative Positive True Positive rate False Negative rate Negative False Positive rate True Negative rate 分类器的评测指标 Nature Inspired Computation and Applications Laboratory 通过confusion matrix，我们可以直接得到如下一些分类器性能的度量公式。 分类精度 Precision Recall F-metric  Accuracy ? TPR * N