Hadoop详细安装配置过程.docx

Hadoop

Hadoop学习第一步之基础环境搭建

1.下载并安装安装ssh

sudoapt-getinstallopenssh-serveropenssh-client3.搭建vsftpd

#sudoapt-getupdate

#sudoapt-getinstallvsftpd

配置参考 的开始、关闭和重启

$sudo/etc/vsftpdstart #开始

$sudo/etc/vsftpdstop #关闭

$sudo/etc/vsftpdrestart #重启4.安装

sudochown-Rhadoop:hadoop/optcp/soft//opt

sudovi/etc/profilealiasuntar=tar-zxvf

sudosource/etc/profilesource/etc/profileuntarjdk*

环境变量配置

#vi/etc/profile

在profile文件最后加上#setjavaenvironmentexportJAVA_HOME=/opt/

exportCLASSPATH=.:$JAVA_HOME/lib/:$JAVA_HOME/lib/exportPATH=$JAVA_HOME/bin:$PATH

配置完成后，保存退出。

不重启，更新命令#source/etc/profile

测试是否安装成功#Java–version

其他问题：

出现unabletoresolvehost解决方法参考

开机时停在Startingsendmail不动了的解决方案

参考 安装软件时出现E:Unabletolocatepackagevsftpd

参考 vi/vim使用方法讲解参考分类:Hadoop

克隆master虚拟机至node1、node2

分别修改master的主机名为master、node1的主机名为node1、node2的主机名为node2(启动node1、node2系统默认分配递增ip，无需手动修改)

分别修改/etc/hosts中的ip和主机名(包含其他节点ip和主机名)

配置ssh免密码连入

hadoop@node1:~$ssh-keygen-tdsa-P-f~/.ssh/id_dsaGeneratingpublic/privatedsakeypair.

Createddirectory/home/hadoop/.ssh.

Youridentificationhasbeensavedin/home/hadoop/.ssh/id_dsa.

Yourpublickeyhasbeensavedin/home/hadoop/.ssh/.

Thekeyfingerprintis:SHA256:B8vBju/uc3kl/v9lrMqtltttttCcXgRkQPbVoUhadoop@node1Thekeysrandomartimageis:

+---[DSA1024] +

|.... |

| o+.E. |

|.oo + |

| .. ++ |

|o+. o ooo +|

|=o. .o.ooo.o.|

|*o +=o.+++.+|

+----[SHA256] +

hadoop@node1:~$cd.sshhadoop@node1:~/.ssh$ll总用量16

drwx 2hadoophadoop4096Jul2420:31./

drwxr-xr-x18hadoophadoop4096Jul2420:31../

-rw-------

1hadoophadoop

668Jul2420:31id_dsa

-rw-r--r--

1hadoophadoop

602Jul2420:31

hadoop@node1:~/.ssh$catauthorized_keyshadoop@node1:~/.ssh$ll

总用量20

drwx 2hadoophadoop4096Jul2420:32./

drwxr-xr-x18hadoophadoop4096Jul2420:31../

-rw-rw-r--

1hadoophadoop

602Jul2420:32authorized_keys

-rw-------

1hadoophadoop

668Jul2420:31id_dsa

-rw-r--r--

1hadoophadoop

602Jul2420:31

单机