CWB中文词库简介.ppt

CWB中文词库简介 Zhang Chaosheng cszhang@pub.chaozhou.gd.cn 2004-11-07 厦门 规模 词条 83,000 以上 义项 104,600 以上 源程序 50,000 行以上 以单词为基本单位 一般不收明显不象词的、较自由的词组, 除了个别不得已的情况。有的著名词典中的“不在乎” 、“不科学” 之类不是词。但是如果要考虑与其它语言的对照, 则须收入一些词组。 一般不收不单独成词的语素。于是与汉语字典或词典的某些单字条目不完全一致。 没有义原 网状结构 层次: 词库 词条 义项 关系 分组 (有的词中没有) 相关词 关系: 同义、上下位、类型-实例、整体-部分、并列、集合-元素、发出动作、接受动作、功能-工具、因果、取值、拥有、时间、地点、材料、领域、词类, 等等, 约 50 种 关系多数是双向的 在某些方面类似英文的 WordNet, 但有不少差别 义项分布 长度分布（注: 词形中间的逗号等也算一个字符） 同义的主要类型 内涵不同, 外延相同: 启明星(黎明时出现在天边的星)-长庚星(晚上出现在天边的星) 异形词: 身份-身分; 把式-把势;唯一-惟一 全称与简称: 厦门大学-厦大; 民意测验-民测; 世界卫生组织-世卫组织-世卫 术语与俗称: 月球-月亮; 不明飞行物-飞碟 现代叫法与旧称、古称: 银-白金; 幼儿园-幼稚园; 逻辑学-名学 论理学 辩学 普通话与方言词: 馒头-馍 馍馍; 拇指-大拇哥 外来语与否: 麦克风-微音器; 的士-计程车;莱塞-激光 同义的主要类型(续) 敬辞、谦辞、褒词、贬词、昵称、诙谐等 : 老汉-老伯伯-老头; 道士-道长-牛鼻子 多种情况并存的例子: 父亲-爸爸-爹爹-令尊(尊称)-大(方言)-阿妈(外族语, 满族)-爹地(外来语) 同义词的词性不能差别太大。下面各组例子中意义很密切, 但我们不当成同义: 蹦迪-迪斯科; 跳舞-舞蹈(名词); 开会-会议; 打摆子-疟疾 同义而词性略有差别: 二-两; 采伐(及物动词)-伐木(不及物动词); 阴沉(性质形容词)-阴沉沉(状态形容词) 连下面词的句法性质都不完全相同: 国-国家 严格同义 严格同义指内涵、非理性意义 (或附加意义) 等都基本相同 主要类型 异形词 奥运会-奥林匹克运动会 天翻地覆-地覆天翻 成年累月-整年累月 伊妹儿-依妹儿 防患未然-防患于未然 拉大旗作虎皮-拉大旗,作虎皮 同义代表词 从同义的多个词中选择一个来代表这个同义组 尽量选双音节词, 避免单音节词或很长的词 尽量选普通话的词汇, 避免方言、旧称等 尽量选中性词, 避免敬辞、谦辞或褒词、贬词等 尽量选常用的词 尽量选义项少的词 不选国家有关部门建议不使用的异形词 同义代表词(续) 人工干预。例如在下面例子中不能按音节选前一个词: 奥运-奥运会; 乒球-乒乓球 同类词的协调。下面 4 组同义词中, 如果第 1 组选“东”, 则其它 3 组应分别选“西”“南”“北”。 东-东边-东方-东面 西-西边-西方-西面 南-南边-南方-南面 北-北边-北方-北面 有时与领域有关。在中医领域可能应选“昆布”而不是“海带”为代表词。目前未能实现。 上下位 一些例子: 信徒-教徒-佛教徒-僧尼-和尚-高僧 几何图形-多边形-三角形-等腰三角形-等边三角形 动物-脊索动物-脊椎动物-哺乳动物-马-骏马-千里马 事情-活动-文体-运动-田径运动-田径赛-径赛-长跑-马拉松 数量-物理量-标量-面积-地积 反应-答理-理茬-回答-答复-回电 不满-生气-气不忿-抱不平-打抱不平-拔刀相助 事与愿违-适得其反-弄巧成拙-聪明反被聪明误-机关算尽太聪明, 反算了卿卿性命 上下位(续) 广义的上下位包括整体-部分等。我们取狭义。 最大深度接近 20 层。不同于纸介质的《同义词词林》的 5 层。 尽量标出较近的上位, 可减少信息损耗。 分类常常有多个角度。 分类常常是人为的离散化。从混沌一体的现象分离出事物, 是一次离散化。用概念给实例分类, 是又一次离散化。这种人为的离散化是造成模糊的主要根源。 上下位(续)