基于反序词典的中文逆向最大匹配分词系统设计.pdf

《现代图书情报技术》2006年第8期 信息检索技术 总第140期 基于反序词典的中文逆向最大匹配分词系统设计 张李义1’2李亚子1 【摘要】介绍几种常见的分词算法，在改进传统的反序词典、优化逆向最大匹配算法的基础上，设计并实 现基于逆向最大匹配的中文分词系统，试验证明速度和精度都有显著提高。 【关键词】反序词典最大匹配逆向最大匹配自动分词 【分类号】G254 A Directional ChineseReverse—order BasedConverse SegmentationSystemDesign Dictionary LiYa嫡1 ZhangLiyil’2 。(^oDZ旷坳，7，Io#幻n讹n口ge玎}enf，下P“^口n￡，n矗肥，si秒，甲EM九on43DD72，CAin口) 43DD72，铂讥口) 2(ce础．r如r．st以弧矿，舶丌m￡幻凡R∞oMrI螂，阢虎口n踟讹您蚵，阢‘^口n This introducesnomal basedonthe chineseconverse 【Abs仃act】 paper segmentationalgorithms，and improving and reverse—orderdirectionalmaximum aChinese dictionaryoptimizing matchingalgorithm，designssegmentationsys- tem．Inthe and are experiment，thespeedaccuracyimprovedobviously． Reverse—orderMaximum Reversemaximum Auto 【Kq—mrds】 dictionary matching matchingsegmentation 1 引 言 2 自动分词算法简介 中文信息处理在我国现代信息化建设中起着越来越 在所有的分词算法中，最早研究的是最小匹配算法 重要的作用，经过几十年来许多学者的不断研究与探索， (Minimum 取得了显著的成就。不过，中文分词仍然是中文信息处 比较，先取前两个字符组成的字段与词典中的词进行比 理的瓶颈…。许多西文语言能够进行计算机处理而对中 较，如果词典中有该词，则分出此词，继续从第三个字符 文的处理能力则差强人意。其原因是多方面的，首先，汉 开始取两个字符组成的字段进行比较，如果没有匹配到， 语多为表意文字，仅汉字的总字数超过5万以上，而英文 则取前3个字符串组成的字段进行比较，依次类推，直到 基本字符只有20多个；其次，西方语言词与词之间大都 取的字符串的长度等于预先设定的阈值，如果还没有匹 以空格分开，而且形态多有变化，但汉语之问无空格，于 配成功，则从待处理字串的第二个字符开始比较，如此循 是词的切分问题就成了计算机处理汉语的首要问题。特 环。例如，“如果还没有匹配成功”，取出左边两个字组成 的字段与词典进行比较，分出“如果”；再从“