基于 hadoop海量数据分析系统设计与实现毕业论文.doc

西安电子科技大学 学位论文创新性声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个 人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加 以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研 究成果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用 过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确 的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切的法律责任。 本人签名： 日期 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保 留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内 容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后 结合学位论文研究课题再撰写的文章一律署名单位为西安电子科技大学。 （保密的论文在解密后遵守此规定） 本学位论文属于保密，在 本人签名： 导师签名： 年解密后适用本授权书。 日期 日期 摘要 随着互联网的不断发展，国内大型互联网公司业务的不断复杂化，分析核心 数据成为了公司发展的关键点，但是公司内部的核心数据原始文件庞大，目前大 部分是通过人工分析得出结论，因此分析处理海量数据成为亟待解决的问题。 本文研究了海量数据处理的国内外现状，阐述了分布式 MapReduce 的编程思 想，介绍了 Hadoop 的相关技术和 HDFS 文件系统，分析了企业的需求，使用了 spring- mvc 和 hibernate 等 Web 开发框架对系统进行了分层设计，将系统分成了展 现层、业务逻辑层、数据对象实体层、底层数据层和原始资源层。然后对系统结 构展开设计和实现，结合实际业务设计了分布式 Hadoop 计算模块、数据结果存 储模块和业务系统逻辑模块三个模块，最后对各个模块进行了测试，实现海量数 据分析系统。 本文所做工作被用于大型互联网公司系统的开发。实践表明，采用本文所设 计的系统后，提高了数据分析的效率，改变了人工计算海量数据的情况，实现了 数据分析统计的高效性和集中性。 关键词：Hadoop MapReduce 数据分析 Abstract With the continuous development of the Internet, business of a large domestic company is going to be more and more complex. Analysis of core data becomes a key point of the development of the company, but the internal core raw data files are huge. They get the conclusion by manual analysis. Therefore, analysis and processing massive data become problems to be solved. In this paper, we research the home and ab road status for massive data processing. The MapReduce distributed programming idea is elaborated. We introduce technologies about Hadoop and the HDFS file system, analysis of the needs of enterprises. Spirng-Mvc and Hibernate web development framework are applied to hierarchical designing in the system. The system is divided into five layers : view layer，business logic layer，data object layer，underlying data layer and original resource layer. Then we expand the design and implementation of the system structure. Hadoop calculation module, data storage module and business system module are desig