通过虚拟化技术在Linux系统下搭建Hadoop集群的研究与实现黄楠 非常好 实用实战.pdf

DOI ：10.14004/ki.ckt.2016.3250 网络出版时间：2016-10-14 15:13:55 网络出版地址：/kcms/detail/34.1205.TP1513.152.html ISSN1009-3044 E-mail:kfyj@ 第12卷第25期(2016年9月) ComputerKnowledgeandTechnology电脑知识与技术 ComputerKnowledgeandTechnology 电脑知识与技术 Vol.12,No.25, September 2016 Tel:+86-55165690964 通过虚拟化技术在Linux系统下搭建Hadoop集群的研究与实现 黄楠 （上海市崇明县公安局，上海202150） 摘要：本文从节约成本和简化搭建过程出发，介绍了通过VMware Workstation 和CentOS 6.5 在单机环境下，搭建分布式 Hadoop 集群的方法，并给出了详细的搭建步骤，最后对搭建好的平台进行了测试，测试结果表明建立在虚拟机上的Ha- doop 集群已经可以正常运行，可在上面进行实验和应用开发。 关键词：Hadoop ；VMware ；虚拟化 中图分类号：TP311 文献标识码：A 文章编号：1009-3044(2016)25-0175-06 1 概述 目前，大数据已经成为研究的热点，大数据的解决方案种 类繁多，其中Hadoop作为Apache基金会的一个开源项目，已经 积累了大量用户，在业界也得到了广泛的认可，一些知名企业 如百度、阿里巴巴、谷歌、腾讯和facebook等，纷纷将Hadoop应 用于商业领域。传统的Hadoop集群是基于物理节点搭建的， 虽然理论上组建一个Hadoop集群不需要昂贵的高性能计算 [1,2] 机，仅需一些廉价的计算机即可 ，但如采用传统技术搭建Ha⁃ doop集群，就不得不面对一些问题：①构建集群需要大量的物 理设备以及足够的实验场地②物理机的性能得不到充分利用； 图1 Hadoop处理流程 ③基于物理机的Hadoop集群组建后，如需增加节点，就要增加 新的物理机，需要更大的场地，而且集线器、交换机等物理设备 也要相应增加，布置起来比较错综复杂。面对这些问题，如何 在？本文对这个问题进行探讨，介绍一下在单机环境中，使用 VMwareWorkstation 10和CentOS6.5搭建Hadoop分布式集群 并进行简单的测试。 2Hadoop简介 Hadoop是一种分析和处理大数据的软件平台，是Apache 的一个用Java语言所实现的开源软件框架，在大量计算机组成 的集群当中实现了对海量数据进行分布式计算。Hadoop的框 架最核心的设计就是：HDFS和MapReduce，HDFS为海量的数 据提供了存储，而MapReduce为海量的数据提供了计算。大数 图2 一个典型Hadoop集群的拓扑图 据在Hadoop处理的流程可以参照图1来进行理解：数据是通过 NameNode：记录文件是如何被拆分成block以及这些block Hadoop的集群处理后得到的结果。[3] 都存储到了那些DateNode节点，同时也保存了文件系统运行的 Hadoop的集群主要由NameNode,DataNode,SecondaryNa⁃ 状态信息。 meNode,JobTracker,TaskTracker组成,如图2所示： DataNode：存