hadoop和hbase分布式配置及整合eclipse开发.doc

Hadoop和HBase分布式配置及整合My Eclipse开发 Q:620734263 说明： 本文档主要侧重hadoop和hbase在windows下的开发.在linux上开发自行修改即可. 下载安装包 下载hadoop-0.20.2、hbase-0.90.3及cygwin软件 安装cygwin和配置ssh cygwin的安装google一下就行. ssh的安装具体步骤如下: 打开cgywin输入： $ chmod +r /etc/group $ chmod +r /etc/passwd $ chmod +rwx /var $ ssh-host-config $ ssh-keygen -t dsa //在此敲三次回车，设置空密码 $ cat ~/.ssh/id_dsa.pub ~/.ssh/authorized_keys //将公匙追加到authorized_keys中 $ net start sshd //启动sshd服务 在主机配置ssh无密码连接 在这里找两台主机(仅供测试用),master(21)和slaver1(4) 分别在两台主机C:\WINDOWS\system32\drivers\etc\hosts配置如下: localhost 21 master 4 slaver1 将master上的公匙copy到slaver1上 $ cd /.ssh $ scp id_dsa.pub ~/.ssh/m_id_dsa.pub $ cat m_id_dsa.pub ~/.ssh/authorized_keys 至此在master上ssh slaver1就行，第一次要输入密码，系统将slaver1加入到know_hosts中.以后就不用输入 配置hadoop 现在master上配置如下: 在/hadoop-0.20.2/conf/hadoop-env.sh中jdk的安装路径 # The java implementation to use. Required. export JAVA_HOME=C:\Java\jdk1.6.0_02 当然还有其中还有其他要配置的，测试用，明白了就行. 分别在/hadoop-0.20.2/conf/core-site.xml、hdfs-site.xml、mapred-site.xml中配置如下: core-site.xml property name/name valuehdfs://master:9001/value /property hdfs-site.xml property namedfs.datanode.max.xcievers/name value4096/value /property property namedfs.replication/name value2/value /property mapred-site.xml property namemapred.job.tracker/name valuemaster:9002/value /property property namemapred.task.timeout/name value0/value /property property namemapred.child.tmp/name value/home/hadoop-0.20.2/temp/value /property 在/hadoop-0.20.2/conf/masters、slavers文件中加入主机: masters文件中加入: master slavers文件中加入: master //将master也做为datanode slaver 配置完成后将此copy到slaver1上去. 为了输入简单: 配置环境变量:HADOOP_HOME = e:/hadoop-0.20.2 并在/cygwin/etc/pofile中加入: export HADOOP_HOME=/cygdrive/e/hadoop-0.20.2 export PATH=$PATH:$HADOOP_HOME/bin #xport HBASE_HOME=/cygdrive/e/hbase-0.90.3 //先注释掉用的时候再取消 #xport PATH=$PATH:$HBASE_HOME/bin 启动测试机器 $ ssh mast