Hadoop--HBase-使用指南.docx

集群的搭建 集群的结构 实验环境中共有6台服务器，搭建完全分布式HDFS与HBase环境，采用的Hadoop与HBase版本为hadoop0.20.2HBase0.92.0，其中一台节点做为NameNode和Master，另一台做为Master备份节点（可以不要备份Master节点），剩余四台则做为DataNode和RegionServer节点，并且在其上运行Zookeeper服务，整个实验环境结构如 REF _Ref351384489 \h 图 31所示。 图 STYLEREF 1 \s 3 SEQ 图 \* ARABIC \s 1 1 HBase 集群结构 基础环境 整个系统要能正常的运行，在各机器上安装需要的程序软件之前，也要正确的配置好网络连接、程序参数和系统设置等，主要包括：操作系统Ubuntu10.04、sun-java-6和OpenSSH。分别在每台服务器上安装上述的系统和程序，过程中要注意： 根据Hadoop和HBase的系统兼容性要求Linux系统的版本可以不一致，不影响HDFS和HBase的运行。 JDK的版本、安装位置和环境变量的设置都应保持一致。 OpenSSH要设置为无密码访问，确保各服务器之间能正常通信。 各服务器配置如 REF _Ref351384156 \h 表 31所示。 表 STYLEREF 1 \s 3 SEQ 表 \* ARABIC \s 1 1服务器的配置信息 主机名 IP地址（在同一网段内） 备注 Master1 Master2 Slave1 Slave2 Slave3 Slave4 192.168.1.100 192.168.1.99 192.168.1.101 192.168.1.102 192.168.1.103 192.168.1.104 NameNode和Master节点 Master备份节点 DataNode和RegionServer DataNode和RegionServer DataNode和RegionServer DataNode和RegionServer 软件的安装 集群中Hadoop和HBase的版本要保持一致，并确保Hadoop和HBase版本相互之间兼容。 SSH设置 免密码SSH设置。 生成密钥对，执行如下命令： $ ssh-keygen -t rsa 然后一直按Enter键，就会按照默认的选项将生成的密钥对保存在.ssh/id_rsa文件中，如图1-9所示。 图1-9 将密钥对保存在.ssh/id.rsa文件中 进入.ssh目录，执行如下命令： $ cp id_rsa.pub authorized_keys 此后执行$ ssh localhost，可以实现用SSH 连接并且不需要输入密码。 SSH配置。 该配置主要是为了实现在机器之间执行指令时不需要输入密码。在所有机器上建立.ssh目录，执行： $ mkdir .ssh 在ubuntunamenode上生成密钥对，执行： $ ssh-keygen -t rsa 然后一直按Enter键，就会按照默认的选项将生成的密钥对保存在.ssh/id_rsa文件中。接着执行如下命令： $cd ~/.ssh $cp id_rsa.pub authorized_keys $scp authorized_keys ubuntudata1:/home/grid/.ssh $scp authorized_keys ubuntudata2:/home/grid/.ssh 最后进入所有机器的.ssh目录，改变authorized_keys文件的许可权限： $chmod 644 authorized_keys 这时从ubuntunamenode向其他机器发起SSH连接，只有在第一次登录时需要输入密码，以后则不再需要。 JDK安装 实验使用jdk-6u24-linux-x86.bin，软件放在共享文件夹下。把Java安装到目录/usr/ java/jdk1.6.0_24，使用如下命令： $ cd /usr/java/ $ /mnt/hgfs/share/jdk-6u24-linux-x86.bin JDK设置 编辑系统文件/etc/profile ，在文件最后添加JDK的环境变量。 #set java environment JAVA_HOME=/usr/ java/jdk1.6.0_24 CLASSPATH=.:$JAVA_HOME/bin:$PATH PATH=$JAVA_HOME/bin:$PATH Export JAVA_HOME CLASSPATH PATH Hadoop的安装 实验使用的是Hadoop-0.20.2.tar.gz安装包，包括HDFS和MapReduce，安装过程如下： 首先把Hadoo