基于潜在语义的多类文本分类模型研究-基于随机森林的文本.ppt

基于随机森林的文本分类模型研究;提纲;研究背景;Decision Trees;;;集成机器学习起源于Hebb 对于神经细胞工作方式的假设：信息加工是由神经集合体共同完成的. 1990 年，Schapire 证明了一个关键定理：一个学习方法可以提升为强可学习的充要条件是其为弱可学习 由此，派生了弱分类器的概念，即，比随机猜想稍好的分类器。它告诉我们：多个弱分类器可以集成为一个强分类器。; 几乎所有成功的决策树集成都用了随机模型 应用随机的主要目的是离散化模型 各模型结果的集成比单个模型的预测精度要好 ;;给定K个分类器 和随机向量x、y，定义边缘函数（mg）如下： 其中，I(?)是示性函数。该边缘函数刻画了对向量X正确分类y的平均得票数超过其它任何类平均得票数的程度。可以看出，边际越大分类的置信度就越高。 于是，分类器的泛化误差定义如下： ;将上面的结论推广到随机森林 。 边缘函数如下： 随着树的数目增加， 趋向于 ;分类器 的强度 假设 ，根据切比雪夫不等式，（1）,（2）可以得到： ;根据引文[6]可知： 于（4）、（5）我们可以得到以下结论：随机森林的泛化误差上界 ;;集成学习的文本分类算法;试验设计及初步结果;特征提取： 统计。 权重：LTC权重。 性能指标：宏平均F1和微平均F1 ;Reuters-21578上特征维数下的微平均和宏平均指标;各模型在Reuters-21578上前10类性能比较 ;进一步工作;谢谢！