hadoop集群环境搭建.docx

虚拟集群环境搭建安装虚拟机直接傻瓜式安装即可，网上资料很多不再赘述。在虚拟机上安装Linux系统需要准备的软件：64位Linux系统镜像文件打开虚拟机软件点击“创建新的虚拟机”，如下图：选择“典型(推荐)”，然后点下一步，选择“安装程序光盘镜像文件”，然后选择系统镜像文件，点击下一步，如下图：输入用户名密码，点击下一步，如图：输入虚拟机名称和安装目录，点击下一步，如图：一直下一步，最后点完成，如图：待系统初始化完成后，数据用户名：root；初始化密码，登录系统。如图：进入系统安装完成。8、登陆后，创建hadoop用户：master2016。搭建hadoop环境-ssh需要准备的软件：Hadoop 2.7.2、JDK1.7.0、ssh检查ssh是否已经安装，命令“ssh -help”，hadoop集群基于ssh来管理远程机器的守护进程，如图： 配置ssh，执行命令“ssh-keygen -t rsa”，如图：进入.ssh目录并生成authorized_keys文件查看权限文件，命令：“cat id_rsa.pub authorized_keys”ssh验证，命令“ssh master”，登录成功。注：文件id_rsa的权限一定是600，否则会报错，authorized_keys权限644。搭建hadoop环境-安装JDK需要准备的软件：Hadoop 2.7.2、JDK1.7.0、sshHadoop是使用java开发的，所以要安装java JDK，我们使用JDK1.7.0版本。首先解压缩jdk到/home/master2016/，解压命令：tar -zxf jdk-7-linux-x64.tar.gz配置环境变量，export JAVA_HOME=/home/master2016/jdk1.7.0/export PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar配置完环境变量执行：source .profile，再执行下java –version,看到java版本信息，如下图：Java jdk1.7.0 版本安装成功。搭建hadoop环境-安装hadoop需要准备的软件：Hadoop 2.7.2、JDK1.7.0、ssh解压hadoop压缩包到目录/home/master2016/，解压命令：tar –zxf hadoop-2.7.2.tar.gz配置环境变量export HADOOP_HOME=/home/master2016/hadoop-2.7.2export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH执行命令：source .profile，查看版本：hadoop version，如下图：安装成功。配置hadoop伪集群环境修改主机名为：master，命令：vi /etc/HOSTNAME重启机器，查看linux是否修改成功，命令hostname，如下图：修改主机名和IP的映射关系（hosts），命令“vi /etc/hosts”28 master修改hadoop-env.sh，将JAVA_HOME修改为正确的目录，命令“vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh”配置core-site.xml，命令“vi $HADOOP_HOME/etc/hadoop/core-site.xml”，增加如下内容：configuration property namefs.defaultFS/name valuehdfs://master:9000/value /property property namehadoop.tmp.dir/name value/home/master2016/hadoop-2.7.2/tmp/value /property property nameio.file.buffer.size/name value4096/value /property/configuration配置hdfs-site.xml，命令“vi $HADOOP_HOME/etc/hadoop/hdfs-site.xml”，增加如下内容：configuration property namedfs.replication/name value2/value /property property name.dir/name valuefile:///home/master2016/hadoop-2.7.2/dfs/name/value /property property namedfs.datanode.data.dir/