Hadoop,HBase,hive安装步骤.docx

Hadoop，ZooKeeper，HBase,hive(HQL)安装步骤Hadoop安装：首先我们统一一下定义，在这里所提到的Hadoop是指Hadoop Common，主要提供DFS（分布式文件存储）与Map/Reduce的核心功能。Hadoop在windows下还未经过很好的测试，所以推荐大家在linux（cent os 6.X）下安装使用。准备安装Hadoop集群之前我们得先检验系统是否安装了如下的必备软件：ssh和Jdk1.6（因为Hadoop需要使用到Jdk中的编译工具，所以一般不直接使用Jre）。可以使用yum install rsync来安装rsync。一般来说ssh是默认安装到系统中的。Jdk1.6的安装方法下载linux版本的java，#mkdir /usr/java#cd /usr/java#chmod a+x jdk-6u27-linux-i586.bin#./jdk-6u27-linux-i586.bin安装完成后，设置环境变量：在etc/profile中设置#export JAVA_HOME=/usr/java/jdk1.6.0_27#export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar#export PATH=$PATH:$JAVA_HOME/bin设置完成后，使用reboot或者source /etc/profile确保以上准备工作完了之后我们就开始安装Hadoop软件，假设我们用三台机器做Hadoop集群，分别是：41、42和43（下文简称141，142和143），且都使用root用户。这里有一点需要强调的就是，务必要确保每台机器的主机名和IP地址之间能正确解析。Host配置一个很简单的测试办法就是ping一下主机名，比如在ww-1上ping ww-2，如果能ping通就OK！若不能正确解析，可以修改/etc/hosts文件，如果该台机器作Namenode用，则需要在hosts文件中加上集群中所有机器的IP地址及其对应的主机名；如果该台机器作Datanode用，则只需要在hosts文件中加上本机IP地址和Namenode机器的IP地址。以本文为例，dbrg-1中的/etc/hosts文件看起来就应该是这样的： localhost localhost41 ww-1ww-142 ww-2ww-243 ww-3ww-3ww-2中的/etc/hosts文件看起来就应该是这样的： localhost localhost41 ww-1 ww-143 ww-3 ww-3下面是在centos6平台下安装Hadoop的过程：在usr下建立hadoop文件夹，将hadoop下载文件解压。在etc/profile文件中设置环境变量：export? HADOOP_HOME=/home/ww/hadoop.020.204.0/hadoop集群配置在这里我们使用141作为NameNode与JobTracker，其它两台机器作为DataNode和TaskTracker，具体的配置如下：环境的配置在$HADOOP_HOME/conf/hadoop-env.sh中定义了Hadoop启动时需要的环境变量设置，其中我们至少需要配置JAVA_HOME（Jdk的路径）变量；另外我们一般还需要更改HADOOP_LOG_DIR（Hadoop的日志路径）这个变量，默认的设置是“export HADOOP_LOG_DIR=${HADOOP_HOME}/logs”，一般需要将其配置到一个磁盘空间比较大的目录下。(不是必要)Hadoop核心程序配置Hadoop 包括一组默认配置文件（$HADOOP_HOME/src目录下的core/core-default.xml, hdfs/hdfs-default.xml 和mapred/mapred-default.xml）。虽然默认配置文件能让Hadoop核心程序顺利启动，一般需要自己来设置一些常规配置以满足开发和业务的需求，所以我们需要对默认配置文件的值进行覆盖，具体方法如下。$HADOOP_HOME/conf/core-site.xml是Hadoop的核心配置文件，对应并覆盖core-default.xml中的配置项。我们一般在这个文件中增加如下配置：Core-site.xml代码 configuration property !-- 用于dfs命令模块中指定默认的文件系统协议 -- name/name valuehdfs://41:9000/value /property /configuration$HADOOP_HOME