Web数据挖掘在云计算平台的实现.doc

Web数据挖掘在云计算平台的实现 　　摘要：Web数据挖掘是数据挖掘技术与Web的结合，它利用数据挖掘技术从与WWW相关的资源和行为中抽取感兴趣的、有用的模式和隐含信息。总结了云计算的关键技术，介绍了Web数据挖掘的定义、流程、分类，并引入了与Web数据挖掘有关的图论数据结构―Web Graph。重点是在云计算平台对Web Graph中挖掘频繁子图算法AprioriGraph进行设计，以此将高效率的云计算应用到Web数据挖掘中，为海量的Web数据挖掘提供越来越多的解决方案。 　　关键词：云计算；Web数据挖掘；Web Graph；AprioriGraph；GraphML 　　中图分类号：TP399文献标识码：A文章编号：1009-3044(2011)19-4526-03 　　Web Data Mining in the Realization of Cloud Computing Platforms 　　YANG Nan, LUO Sheng-xian 　　(School of Information Science and Technology, Chengdu University of Technology, Chengdu 610051, China) 　　Abstract: The Web data mining is the wedge bonding that The data mining technique and Web. It makes use of data mining technique to extract the interesting and useful mode and potential information from the source and behavior on WWW. It sums up the key technique of cloud computing, introduces the Web data minings definition, technological process and sort, and educes Web Graph which is related with Web data mining. Focus is the AprioriGraph design of frequent subgraph in Web Graph according to cloud computing platen. Thereby, the high-efficient cloud computing will be applied on Web data mining, and offer more over and over solutions for huge Web data mining. 　　Key words: cloud computing; Web data mining; Web Graph; AprioriGraph; GraphML 　　Web数据挖掘就是从大量网络数据中发现隐含的规律性内容，提供并挖掘有用的知识。随着互联网的发展，对网络的海量数据分析与挖掘都面临着在计算能力和存储空间方面的瓶颈。而利用以数据为中心的新型超级云计算技术，强大的计算能力、存储能力和基础设施将可以方便的通过网络获得。云计算的思想可以帮助Web数据挖掘的研究者有效的分析与处理海量数据时面临的问题，并提供了高可靠性、可扩张性的数据存储中心，在降低了终端设备要求的同时提高了处理数据的能力。 　　1 云计算 　　云计算(Cloud Computing)是分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid Computing)的发展。基本原理是，通过使计算分布在大量的分布式计算机上，而非本地计算机或远程服务器上，企业数据中心的运行将更与互联网相似。这使得企业能够将资源切换到需要的应用上，根据需求访问计算机和存储系统。本节将介绍云计算特有的技术：数据存储技术、数据管理技术及编程模式[1]。 　　1.1 数据存储技术 　　云计算采用冗余存储和分布存储的方式来保证数据的高可靠性、高可用性和经济性。同时云计算的数据存储技术必须具有高吞吐率和高传输率，这样才能满足大量用户的需要，并行的为大量用户提供服务。 　　谷歌非开源的GFS [2]（Google File System）和Hadoop开发团队开发的GFS的开源实现HDFS（Hadoop Distributed File System）是云计算数据存贮的主要技术。 　　如GFS，是一个可扩展的分布式文件系统，用