实验文档1-部署Hadoop.pdf
文本预览下载声明
Hadoop 大数据技术实验资料 airyqin
Hadoop 大数据管理与分析处理平台
部署实验手册
CentOS 6 集群下部署Hadoop
(Airy qin)
1
Hadoop 大数据实验实战资料 (请勿在互联网上传播)
启动两台虚拟客户机:
打开VMware Workstation10
打开之前已经安装好的虚拟机:HadoopMaster 和HadoopSlave
出现异常,选择“否”进入
2
Hadoop 大数据实验实战资料 (请勿在互联网上传播)
如果之前没有打开过两个虚拟机,请使用“文件”-“打开”选项,选择之前的虚拟机安装包(在一体软件包里面
的)
第1 步 Linux 系统配置
以下操作步骤需要在HadoopMaster 和HadoopSlave 节点上分别完整操作,都使用root 用户,从
当前用户切换root 用户的命令如下:
su root
输入密码:zkpk
3
Hadoop 大数据实验实战资料 (请勿在互联网上传播)
本节所有的命令操作都在终端环境,打开终端的过程如下图的Terminal 菜单:
终端打开后如下图中命令行窗口所示。
1. 拷贝软件包和数据包
将完整软件包“Hadoop In Action Experiment”下的software包和sogou-data 整体拖拽到HadoopMaster
节点的桌面上,并且在终端中执行下面的移动文件命令:
mv ~/Desktop/software ~/
4
Hadoop 大数据实验实战资料 (请勿在互联网上传播)
mv ~/Desktop/sogou-data ~/
1.1 配置时钟同步
1.1.1 配置自动时钟同步
使用Linux命令配置
crontab -e
键入下面的一行代码:
输入i,进入插入模式
0 1 * * * /usr/sbin/ntpdate
1.1.2 手动同步时间
/usr/sbin/ntpdate
1.2 配置主机名
1.2.1 HadoopMaster 节点
使用gedit 编辑主机名
gedit /etc/sysconfig/network
配置信息如下,如果已经存在则不修改,将HadoopMaster 节点的主机名改为master,即下面代码的第3 行
所示。
NETWORKING=yes #启动网络
NETWORKING_IPV6=no
HOSTNAME=master #主机名
确实修改生效命令:
hostname master
检测主机名是否修改成功命令如下,在操作之前需要关闭当前终端,重新打开一个终端:
hostname
执行完命令,会看到下图的打印输入:
5
Hadoop 大数据实验实战资料 (请勿在互联网上传播)
1.2.2 HadoopSlave 节点
使用gedit 编辑主机名
gedit /etc/sysconfig/network
配置信息如下,如果已经存在则不修改,将Hadoopslave 节点的主机名改为 slave,即下面代码的第3 行所
示。
NETWORKING=yes #启动网络
NETWORKING_IPV6=no
HOSTNAME=slave #主机名
确实修改生效命令:
hostname slave
检测主机名是否修改成功命令如下,在操作之前需要关闭当前终端,重新打开一个终端:
hostname
执行完命令,会看到下图的打印输入
显示全部