文档详情

Hadoop集群安装与配置和其示例程序运行说明文件.docx

发布:2017-03-19约4.86千字共10页下载文档
文本预览下载声明
Hadoop集群安装与配置及其示例程序的运行(虚拟机下实现)系统:Ubuntu 12.04 虚拟机软件:VMware WorkstationHadoop2.6.0【特别声明:安装的Ubuntu虚拟机操作系统的位数一定要和Hadoop的位数一致!!建议都装64位的。】单机情况下安装:安装jdk【我下载的jdk版本是:jdk-7u51-linux-i586.tar.gz。安装后的版本号是:jdk1.7.0_75】去下载jdk-***.tar.gz文件,下载完得到压缩包,解压到要安装的目录下。(例如解压到/etc下)命令:tar -zxvf jdk-***.tar.gz -C ~/etc【将jdk压缩包解压到/etc目录下】设置坏境变量:修改用户目录下的.bashrc文件【命令是$ gedit ~/.bashrc】,在文件末尾加入:set JAVA_HOME=/home/becy/etc/jdk1.7.0_75export JAVA_HOMEset JRE_HOME=/home/becy/etc/jdk1.7.0_75/jreExport JRE_HOMEset PATH=$JAVA_HOME/bin:$PATHexport PATHset CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport CLASSPATH保存文件后退出。然后再命令行输入$source ~/.bashrc使刚才设置的环境变量生效。接着输入命令$ java -version会弹出以下窗口:然后按照提示,在命令行输入$ sudo apt-get install openjdk-7-jre-headless完成jdk的安装工作【安装过程约20分钟】。接着测试是否安装成功输入命令:$ java –version以上显示则安装成功。添加专用的Hadoop系统用户我们将利用专用用户来运行Hadoop,这不是必须的,但是建议这么做,主要考虑安全,权限等问题。命令:sudo addgroup hadoopsudo adduser --ingroup hadoop hduser设定自己的密码之后,按Enter即可。随后弹出的框可以直接按Enter使用默认值:这样可以添加用户hduser 和用户组hadoop到机器上。配置无密码登录SSHHadoop需要SSH无密码登录以管理其余Nodes。首先需要为hduser用户生成密钥。su - hduserssh-keygen -t rsa -P 按下Enter之后会出现以下界面:中途遇到需要输入的都直接Enter然后将密钥加入认证cat $HOME/.ssh/id_rsa.pub $HOME/.ssh/authorized_keys完成之后测试是否成功ssh localhost如果报错如下:【hduser?is?not?in?the?sudoers?file.??This?incident?will?be?reported.】,则需要安装ssh,首先修改权限:然后执行:sudo apt-get install openssh-server安装完成后:再次键入ssh localhost,便会有如下信息:说明ssh安装成功!安装配置Hadoop从Apache官网上下载Hadoop,解压到一个目录下。注意确保所有文件属于Hduser和hadoop组。命令如下:(假设解压到/usr/local)sudo tar -zxvf hadoop-1.0.3.tar.gz–C /usr/localcd /usr/localsudo mv hadoop-1.0.3 hadoopsudo chown -R hduser:hadoop hadoop完成之后,同样对hduser用户下的.bashc文件修改【命令是$ vim ~/.bashrc】,设置Hadoop坏境变量。在文件中加入:# set hadoop-related environment variablesexport HADOOP_HOME=/usr/local/hadoop/etc/hadoop# add hadoop bin/ directory to PATHexport PATH=$PATH:$HADOOP_HOME/binexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport HADOOP_OPTS=-Djava.library.path=$HADOOP_HOME/lib多机器HDFS集群配置在每台机器上都完成以上的单机配置之后(如果是虚拟机可以直接克隆系统),我们将进行以下多机器的集群配置。修改主机名:首先,在
显示全部
相似文档