基于SVM和KNN算法的科技文献自动分类研究.pdf

匿爵谣燕鹂丽酾溺甄孬圈 软件时空 文章编号：1008—0570(2006)12—3--0275-02 基于SVM和KN N算法的科技文献自动分类研究 Scienceand TextAutoSort Base Technology StudyOfSVMandKNN A190rithm (南昌大学)白小明邱杉E荣 BAIXlAOMINGQIU 关键词：文本分类算法；SVM；KNN；文本自动分类系统 中图分类号：．I粥11 文献标识码：A SVMandKNNtextsort textsettest ofSVM KNN Abstract：his and textsort paperanalysis algorithm．Combingactuality capability and data． algorithmgiveexperimentation sort autosort Keywords：Textalgorithm，SVM，KNN，Textsystem 权重，计算公式如下： 1引言 f2—2) 随着在线信息的迅速增长，对信息获取的速度和 d，∈KNN 数量要求越来越高。使得文本分类成为日益重要的研 究领域。现有的文本分类算法主要有：Naive Bayes分 类法，Rocchio分类器，决策树方法，SVM以及KNN分数值为1，否则为0。 类法。文本分类算法是分类系统的核心，所以在实现 2．2SVM分类法 文本自动分类系统时．文本分类算法的性能是值得注 Vector SVM(Support 意的问题。 出来的一种机器学习技术。支持向量机(SVM)是一种 2 SVM和KNN分类法 在统计学习理论(SLT)的基础上发展起来的一种机器 2．1KNN分类法 学习方法。如果一个训练集中的矢量能被一个平面无 KNN fK—nearest—neighbor)分类器是由Cover和 错误地线性分割．且距该平面最近的矢量之间的距离 Hart提出的，是基于样例的分类器。这种分类器的分最大，则称该平面为最佳分类面。 类过程“寄生”在领域专家训练集分类基础之上．所以 KNN分类器也是一种“懒惰”的学习系统。该算法的基 本思路是：给一篇待识别的文章，系统在训练集中找 到最近的K个近邻，看这K个近邻多数属于哪一类， 就把待识别的文本归为哪一类。具体做法如下： (1)当新文本d到来后，用特征子集中的词对新文 本重新描述成VSM形式。 (2)使用公式 艺(d☆，d肚) 图2—1SVM算法最佳分类面示意图