基于划分的分布式图书查重子系统的设计与实现的中期报告.docx

基于划分的分布式图书查重子系统的设计与实现的中期报告

一、背景与意义：

随着互联网的发展，文献数据量已经极其庞大。在这些文献中，很多都是重复或者抄袭的。因此，图书查重技术已经成为了保证学术诚信的必要手段。现有的图书查重系统往往采用局部敏感哈希等算法，其本质上是一种基于特征匹配的方法。但这种方法存在以下问题：

1.大规模文献数据处理时间较长；

2.数据库访问频繁，对系统性能影响大；

3.难以扩展到集群环境下，吞吐量低；

因此，本文提出一种基于划分的分布式图书查重系统，旨在解决上述问题，在保证查重效果的同时提高系统性能。

二、系统设计：

系统采用分布式架构，包括多个工作节点和一个协调器节点。工作节点负责文献分割、特征提取、哈希计算任务；协调器节点负责任务调度、结果聚合、数据库访问等任务。

具体流程如下：

1.协调器将待查重的文献数据集划分成多个小数据块，分配给各个工作节点；

2.工作节点对文献数据进行分割，提取特征，并计算局部敏感哈希值；

3.工作节点将哈希值返回给协调器节点；

4.协调器节点对哈希值进行聚合，计算文献之间的相似度，并标记重复或抄袭文献；

5.协调器将结果保存到数据库中，方便后续查询。

三、进展与困难：

在此项目中，我们已经完成了系统的设计与基本实现。目前，我们已经完成了文献数据的划分，并使用Python脚本模拟了工作节点的功能，即文献分割、特征提取和哈希计算。同时，我们也完成了协调器节点的功能实现，包括任务调度、结果聚合和数据库访问。目前，我们取得的进展有：

1.实现了文献数据划分功能，用于将文献数据均分给各个工作节点；

2.实现了特征提取和哈希计算功能，并用Python脚本模拟了工作节点的运行；

3.完成了协调器节点的任务调度、结果聚合和数据库访问功能，并用Python脚本模拟了系统的运行；

目前遇到的困难主要是：

1.数据集的规模较大，需要进行分布式处理，因此需要考虑节点之间的通信方式和数据传输方式；

2.局部敏感哈希算法的优化需要更深入的研究和尝试；

3.当前系统仍为单机模拟，需要进行集群部署和测试。

四、计划：

在后续的工作中，我们将重点解决上述问题，完成以下任务：

1.设计并实现节点之间的通信方式和数据传输方式，确保系统稳定运行；

2.进一步优化哈希算法，并选用更高效的算法；

3.将系统部署到实际的分布式集群中，并进行性能测试；

4.进行实验验证，与现有的图书查重系统进行比较。