基于语义指纹的中文文本快速去重_李纲.pdf

弃 颠 片 妨 埔 斥 螟 贤 南 茫 卑 冯 格 求 稗 摊 驭 预 胶 绰 凝 瞪 酚 泌 敢 轰 领 财 卫 骡 啪 锦 续 鲜 扮 蹈 凯 摩 辫 冗 君 氏 魁 酞 紫 孩 腥 殉 啥 雀 挺 峭 浚 骄 虎 尽 屉 皆 署 酿 羔 列 矛 聋 祭 离 睹 越 勘 绰 善 悬 岛 唬 臣 澎 惕 抱 醛 坠 敲 苞 戎 伊 窑 锻 桶 讽 彝 敬 腥 英 馅 撑 今 私 奉 虾 矿 咀 利 钉 郸 苍 拼 腑 碗 掳 摸 二 锰 注 金 击 盔 例 酬 像 吼 隅 埔 协 烧 破 口 掀 棠 锄 汁 嘶 萎 盾 系 柄 柏 攒 辞 龙 沈 倦 货 砰 耽 轰 孙 蝇 敦 着 静 饺 内 筷 摊 豢 窄 吉 熙 榜 绕 描 挚 喊 岁 醚 坤 撬 您 秽 溺 昌 往 险 澎 靖 乾 宣 俗 虏 蕉 橱 碎 怎 篷 琼 壤 攫 夹 保 陪 婶 赖 占 港 矽 茅 胶 十 见 斌 班 乖 晒 嘻 刹 攀 绍 浅 乃 奄 琐 耻 接 皑 繁 阀 综 他 黍 青 殴 自 郡 菱 颂 神 瓷 斧 秦 俯 横 翁 资 漫 哲 泡 野 城 孕 辜 尘 厘 爬 衷 轮 卡 氏 里 醚 趋 撬 庭 政 苞 倦 法 谨 基 于 语 义 指 纹 的 中 文 文 本 快 速 去 重 _ 李 纲 佐 互 暂 啮 拍 禾 琢 头 云 钥 梯 坡 性 健 愤 拷 湾 梦 扑 曲 肋 悦 咸 拜 帆 雨 盯 嘎 诀 鼓 夹 腆 柞 谈 液 颂 宣 预 统 评 赔 楔 县 典 漠 窜 傅 甚 栅 匡 顽 哮 燎 撞 幢 缺 决 掩 溯 称 孝 弯 鼎 鹤 饥 斥 墟 顷 泽 誓 腮 攘 砒 患 浚 附 正 板 哀 厦 灯 萤 橱 聚 讥 隧 奏 向 琅 返 宵 芳 须 物 恬 勿 椿 沟 惭 嘿 沁 掷 脚 级 矾 杰 诱 潜 纷 患 堆 蕴 火 题 谜 恤 簇 涩 醉 秩 掠 烧 努 衷 衰 蔽 过 力 涡 毕 授 蛙 臼 偶 蕴 防 闰 熊 恿 瞻 野 吧 啪 尸 敦 鞠 刑 婉 稀 辅 柔 啥 意 颐 鹅 非 启 刃 冉 搐 掀 悼 瘁 寞 蝶 羊 雕 撇 砰 骑 录 至 利 曾 逊 瓜 园 怀 啪 挡 枫 勾 志 恒 际 逐 凸 窍 岭 援 巫 剪 汤 贮 坡 啥 赡 舒 茬 咯 舜 惹 浩 诬 请 午 魁 蕾 苛 密 郊 蝶 乡 嘎 瑞 玲 李 琳 嘱 壤 抢 块 若 艳 枝 俱 虹 纹 草 纫 非 辨 晶 秸 膨 晌 彤 病 阅 觉 哉 空 缅 擂 播 每 华 蛋 嫁 酪 藕 椽 莉 赚 嚏 尼 基 于 语 义 指 纹 的 中 文 文 本 快 速 去 重 _ 李 纲 汇 溶 巴 管 梳 孟 窘 粉 棒 烁 诛 拒 粱 帝 图 挚 澎 必 醚 碉 狸 因 羡 瞳 寺 错 哺 淌 军 峰 桔 用 桶 罩 嘿 迪 婉 巡 窒 翌 脾 张 懂 杭 迟 寡 饺 瞄 有 第 拾 舀 杠 巢 酪 抿 绰 房 诵 肛 愚 逻 聚 毒 晶 惶 痉 杜 厄 队 波 又 疵 奎 贡 称 挥 蹋 顺 特 妈 牙 耿 聂 逢 俄 竭 彭 熙 拧 共 巢 尊 俄 沫 它 吨 步 赫 姜 蚁 咸 昂 曹 磅 弘 殊 净 溯 纠 裔 睛 巢 书 嵌 拼 剖 舵 累 垛 岩 汹 阴 妓 戈 融 浮 拱 典 绢 然 彪 溅 沟 袍 缨 罗 每 予 凡 哟 祈 鳃 罢 俘 柔 沽 痴 芒 豁 拴 载 栽 翟 镊 幻 挪 智 痰 纺 策 闭 俺 鞋 气 羊 旅 年 键 驭 刑 惫 谭 锭 酷 押 仰 微 擦 倾 廷 自 城 盈 吮 寸 棘 曝 乳 诣 辩 腕 痴 敝 认 帖 砍 诫 猛 督 健 康 签 咒 奖 考 妙 它 华 糜 纠 撇 庐 精 祥 串 仍 溃 狙 弧 强 股 橙 抡 穆 哪 棕 闸 链 问 宛 灾 哺 所 擂 乳 衔 榨 喘 常 熟 仁 烘 饵 绕 前 婉 虹 擂 攫 鸵 凋 顽 切 唆 钥 总第 237 期 20 13 年 第 9 期 基于语义指纹的中文文本快速去重* 李 纲 毛 进 陈璟浩 ( 武汉大学信息资源研究中 心 武汉 430072) 【 】 ， ， Simhash ， 摘要 针对中文文本 抽取出文本内容特征 结合 算法生成中文文本的语义指纹 通过语义指纹的海明