虚拟机环境下Hadoop伪分布式平台搭建详细过程.pdf

大数据技术平台搭建之Hadoop 1. Hadoop(伪分布式)平台搭建详细过程 1.1 工具 • VMware12 • CentOS 6.4 • JDK-6u24-Linux-i586.bin • Hadoop-1.1.2.tar.gz • Scala-2.9.3.tgz • Spark-1.4.0-bin-hadoop1.tgz • Win10系统环境 1.2 详细搭建过程 1.2.1 安装虚拟机VMware Workstation 12 Pro 图1.1 VMware Workstation 12 Pro软件开始界面 1.2.2 在虚拟机环境上安装Linux系统 （1）点击 创建新的虚拟机 按钮选择典型配置安装 图1.2 新建虚拟机向导 （2）选择Linux镜像文件，开始虚拟安装 图1.3 选择安装镜像文件 （3）为新建的虚拟机命名，并选择安装目录 图1.4 命名、选择安装目录 （4）指定虚拟机磁盘大小 图1.5 指定磁盘大小 （5）设置硬件、网络类型等虚拟机配置 图1.6 自定义虚拟机硬件 （6）点击 完成 按钮完成虚拟机安装 图1.7 CentOS_Linux虚拟机系统安装成功 1.2.3 配置Linux环境，为安装Hadoop做准备 （1）关闭防火墙 执行命令 service iptables status可以查看防火墙状态 执行命令 service iptables stop 关闭防火墙 图1.8 关闭防火墙并检验 执行命令chkconfig iptables off，关闭防火墙某些功能自启动 图1.9 关闭防火墙自启功能并检验 （2）设置网络连接 宿主机（Windows）和客户机（虚拟机中的Linux）采用host-only方式建立网络连接，具体步骤： 右击桌面右上角网络连接 图标，选择编辑网络连接，如下 图1.10 虚拟机网络设置窗口 接着点击 按钮，设置IPv4地址，注意要和主机IP在同一网段 192.168.80.X 图1.11 设置ip窗口 点击 Apply完成设置，并在虚拟机终端窗口输入service network restart，使设置生效 图1.12 在终端窗口执行命令使设置生效 输入ifconfig查看设置是否生效 图1.13 在终端窗口检验设置是否生效 修改主机网络设置，打开网络共享中心将以下两个适配器的地址设置为192.168.80网段。 图1.14 Windows网络适配器窗口 检验：主机（Windows）ping客户机（linux）IP 图1.15 ping检验窗口 （3）修改hostname 由于设置好了主机和客户机之间的网络连接，我们可以使用工具PieTTY在Windows环境下就可以快 捷登录虚拟机，对其配置进行修改，如下面来修改虚拟机的hostname为hadoop： 图1.16 修改hostname指令 （4）执行vi /etc/hosts,在打开的文件中添加ip和主机名，绑定Linux虚拟机的主机名