《Linux上安装Hadoop过程详解》.pdf

Linux上如何安装Hadoop 实践环境 Ubuntu8.04 jdk1.6 hadoop-0.20.2 机器名 IP地址 作用 Hadoop-247 47 NameNode、master、jobTracker Hadoop-248 48 DataNode、slave、taskTracker Hadoop-249 49 DataNode、slave、taskTracker 开始安装 1、创建用户：$useradd或者adduser 修改机器名：$ hostname 机器名 在/etc/hosts 中添加机器名和对应的ip /etc/sysconfig/network 2、安装ssh $ sudo apt-get install openssh-server 3、建立ssh 无密码登录 (1)在NameNode 上实现无密码登录本机： $ ssh-keygen -t dsa -P -f ~/.ssh/id_dsa ， 再把id_dsa.pub 追加到授权key 里面(当前并没有authorized_keys 文件)：$ cat ~/.ssh/id_dsa.pub ~/.ssh/authorized_keys 。完成后可以实现无密码 登录本机：$ ssh localhost 。 (2)实现NameNode 无密码登录其他DataNode： 把NameNode 上的id_dsa.pub 文件追加到dataNode 的authorized_keys 内( 以 节点为例)： a. 拷贝NameNode 的id_dsa.pub 文件： $ scp id_dsa.pub hadoop@48:/home/hadoop/ b. 登录48，执行$ cat id_dsa.pub .ssh/authorized_keys 其他的dataNode 执行同样的操作。 注意：如果配置完毕，如果namenode 依然不能访问datanode，可以修改datanode 的 authorized_keys：$ chmod 600 authorized_keys 。 4 、关闭防火墙 $ sudo ufw disable 注意：这步非常重要。如果不关闭，会出现找不到datanode 问题。 5、安装jdk1.6 下载地址：/javase/downloads/widget/jdk6.jsp下载后，直接 安装。本例的安装路径为/home/hadoop/jdk1.6.0_14 。 安装后，添加如下语句到/etc/profile 中： export JAVA_HOME=/home/hadoop/jdk1.6.0_14 export JRE_HOME=/home/hadoop/jdk1.6.0_14/jre export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH ►注意：每台机器的java 环境最好一致。安装过程中如有中断，切换 为root 权 限来安装。 6、安装hadoop 下载hadoop-0.20.2.tar.gz：Apache官方网站 解压：$ tar –zvxf hadoop-0.20.2.tar.gz 把Hadoop 的安装路径添加到环/etc/profile 中: export HADOOP_HOME=/home/hadoop/hadoop-0.20.2 export PATH=$HADOOP_HOME/bin:$PATH 7、配置hadoop hadoop 的主要配置都在hadoop-0.20.2/conf 下。 (1)在conf/hadoop-env.sh 中配置Java 环境(namenode 与datanode 的配置相同)： $ gedit hadoop-env.sh $ export JAVA_HOME=/home/hadoop/jdk1.6.0_14 (2)配置conf/masters 和conf/slaves 文件:(只在n