中文文本挖掘中的无词典分词的算法及其应用.pdf

　第 23 卷 　第 1 期 　　　 　　 　　　　　吉 　林 　工 　学 　院　学 　报 　　　　　　 　　　　Vol . 23 　No . 1 　 　 　2002 年 3 月 　　　　　　　　JOURNAL OF J ILIN INSTITUTE OF TECHNOLOGY　　　　　　　　Mar . 2002 ( ) 文章编号 : 2002 　　 中文文本挖掘中的无词典分词的算法及其应用 胥桂仙 , 　苏筱蔚 , 　陈淑艳 ( 吉林工学院 计算机科学与工程学院 , 吉林 长春 　130012) 摘 　要 : 对中文文本挖掘中的词汇处理技术进行了较深入的探讨 ,提出了针对汉语语言特点的无词典分词算 法 。该算法基于“找最长字共现”的原则 ,可以准确地将文本中的词汇切分出来 。 关键词 : 文本挖掘 ; 中文分词 ; 无词典分词 中图分类号 : TP3111 　　　文献标识码 : A 　　随着信息技术的快速发展 ,人们已经从信息缺 常在文中以相同的顺序重复出现”。这个算法能 乏的时代过渡到了信息极大丰富的时代 。文本信 准确地切分文本中的词汇 。 息是人们用于信息记载和信息传播的最重要的媒 11 　概念介绍 体之一[ 1] ,如何迅速 、有效地从大量数据中找到所 111 　按字索引 需的信息已经成为信息服务领域中的重要问题 。 　　设一个文档集 D = {D ,D , …,D } ,其中 D 1 2 n i 　　文本挖掘是抽取有效、新颖、有用、可理解的、 为一个文本 ,i = 1 ,2 , …,n 。设一个文本 Di 可描 散布在文本文件中的有价值知识[2 ] ,并且利用这些 述为 D = s s …s ,s 为字符[ 1] 。以四元组形式将 i 1 2 n i 知识更好地组织信息的过程 。中文文本挖掘技术 ( 文档集 D 存入数据库 , 四元组形式为 f ,p , s , i i i 成败的关键在于文本中词汇切分的成功与否。文 flag) ,其中fi 为文档 Di 对应的文件标号 ,pi 为字 中主要介绍如何在没有词典的情况下实现汉语文 符 s 在文本中的位置 ,flag 为产生长词标记 ,初值 i 本的分词 。这实际上是从文字信息中自动获取知 为 0 。 识的一种方法 。 112 　字共现