基于网格服务的分布式数据挖掘.pdf

6 2010 ，46 （28 ） Computer Engineering and Applications 计算机工程与应用 基于网格服务的分布式数据挖掘 邓 勇，王汝传，邓 松 DENG Yong ，WANG Ru-chuan ，DENG Song 南京邮电大学 计算机学院，南京 210003 School of Computer ，Nanjing University of Posts and Telecommunications ，Nanjing 210003 ，China E-mail ：wangrc@ DENG Yong ，WANG Ru-chuan ，DENG Song.Distributed data mining on grid services.Computer Engineering and Appli- cations ，2010 ，46 （28 ）：6-9. Abstract ：This paper presents distributed data mining platform on grid services ，which combines grid services with distribut- ed data mining to solve problems of traditional data mining.Meanwhile ，this paper implements Distributed BP Classification Algorithm on Grid Services （DBPC-GS ）.Simulation experiments show that contrasted with concentrative algorithms ，the aver- age consumptive time of DBPC-GS decreases apparently ，and CPU load is reduced about 40% with increments of grid codes. Key words ：distributed data mining ；grid service ；BP net ；classification 摘 要：在分析传统分布式数据挖掘平台不足的基础上，结合网格服务的思想，提出了基于网格服务的分布式数据挖掘平台，同 时在该平台上，实现了分布式BP 网络分类算法（GBPC-GS ）。仿真实验表明，与单机环境相比，随着网格节点数增加，算法的平均 耗时明显下降，同时CPU 的负载也下降了约40% 。 关键词：分布式数据挖掘；网格服务；BP 网络；分类 DOI ：10.3778/j.issn. 1002-8331.2010.28.002 文章编号：1002-8331（2010 ）28-0006-04 文献标识码：Ａ 中图分类号：TP311 1 引言 据挖掘所需的服务从而更好地为数据挖掘服务，从而解决了 在现实的应用环境中，大部分海量数据库都是以分布式 由于网络拥塞、不安全以及不可靠所造成的各种问题。Kar- 形式存在的，将这些分布式存储的数据集中到一个数据仓库 gupta 等提出了PADMA 分布式数据挖掘模型，它的主要功能 [7] 中进行集中式挖掘处理，这样会造成分布式数据的安全性、保 就是利用Agent 技术来完成同构数据站点的分布式数据挖掘 。 密性方面以及挖掘效率等问题，也给网络通信带宽提出很高 Bailey 等提出了基于Java 和移动Agent 的分布式数据挖掘系 的要求。为了解决这样的问题，传统的分布式数据挖掘已经 统Papyrus ，该系统利用Agent 技术完成广域网内异构数据站 [1]