vm下ubuntu集群安装hadoop.doc

vm下ubuntu集群安装hadoop 在wm下安装ubuntu9.10 更新deb软件包列表：$ sudo apt-get update 安装系统更新 $ sudo apt-get upgrade 安装JDK $ sudo apt-get install sun-java6-jdk //默认路径为：/usr/lib/jvm 设置CALSSPATH和JAVA_HOME $ sudo gedit /etc/environment 添加：CLASSPATH=”.:/usr/lib/jvm/java-6-sun/lib” JAVA_HOME=”/usr/lib/jvm/java-6-sun” 调整系统虚拟机的优先顺序 $ sudo gedit /etc/jvm 在文件顶部添加一行 /usr/lib/jvm/java-6-sun 如果文件/etc/jvm不存在则自己新建 下载hadoop-0.20.0.tar.gz $ cd /home/fly //设当前用户名为：fly $ sudo tar xzf hadoop-0.20.0.tar.gz //解压 $ mv hadoop-0.20.0 hadoop //重命名文件夹 $ sudo chown –R fly:fly hadoop //赋于fly权限 更新hadoop环境变量 $ gedit hadoop/conf/hadoop-env.sh 将#export JAVA_HOME= *** 这一行改为： export JAVA_HOME=/usr/lib/jvm/java-6-sun 配置ssh $ sudo apt-get install ssh $ sudo apt-get install rsync $ ssh-keygen –t dsa –P ‘’ –f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub ~/.ssh/authorized_keys $ ssh localhost //验证配置成功与否 10、在wm下复制出另外两个虚拟机，并分别把这三个虚线拟分别更名为：dream1、dream2、dream3（更改主机名的方法在这就不写了。） 建立三个虚拟机的通信： 安装过wm后，电脑网络连接里会多出现两个网络连接 设置共享原来的本地连接： 设置虚拟机连接： 其中的IP自己设，DNS可不设置。 在dream1虚拟机里添加一个网络连接设置： 分别再设置另两个dream2,dream3的IP分别为：192.168.100.126、192.168.100.127 注意：今后如需连接互联网则用以前默认的自动获取IP的连接：auto eth0, 三个虚拟机通信见则切换联接：wired connection1 Namenode :dream1 Datenode:dream2\dream3 11、（每个虚拟机都要做） $ sudo gedit /etc/hosts 添加数据： 192.168.100.125 dream1 192.168.100.126 dream2 192.168.100.127 dream3 12、配置SSH（保证无密码访问） 在dream2\dream3上分别执行 $ scp fly@dream1:/home/fly/.ssh/id_dsa.pub /home/fly/.ssh/dream1_dsa.pub $ cat ~/.ssh/dream1.pub ~/.ssh/authorized_keys 在dream1上执行 $ scp fly@dream1:/home/fly/.ssh/id_dsa.pub /home/fly/.ssh/dream1_dsa.pub $ cat ~/.ssh/dream1.pub ~/.ssh/authorized_keys 13、配置conf/masters , conf/slaves 在所有节点上： hadoop 目录/conf/masters加入一行：dream1 hadoop 目录/conf/slaves加入行： dream2 dream3 14、配置core-site.xml , hdfs-site.xml , mapred-site.xml core-site.xml: hdfs-site.xml: mapred-site.xml: 15、格式化分布式文件系统 在namenode上 $ sudo bin/hadoop namenode –format 启动HDFS，在namenode上 $ bin/start-all.sh $ bin/stop-all.sh