大数据技术实验一平台搭建.doc

《大数据技术原理与应用》实验报告一 题目： 安装Hadoop姓名：高聪江班级：大数据1533学号：2015005677日期：2017.11.01实验环境： 笔记本电脑 一台 Archlinux虚拟机 3台 Hadoop 2-7-10 Java 1-8-0 实验内容与完成情况： 下载相关软件 已完成 安装虚拟机 已完成 配置环境变量 已完成 安装Hadoop 已完成 出现的问题： 01 虚拟机运行软件选择 02 虚拟机选择 03 虚拟机的分盘出现问题 04 虚拟机命令不被识别 05 Hadoop版本选择 06 Hadoop无法正常启动 07 结束安装后活节点数是0 解决方案（列出遇到的问题和解决办法，列出没有解决的问题）： 01 虚拟机运行软件选择 使用了VirtualBox 02 虚拟机选择 使用了Archlinux 03 虚拟机的分盘出现问题 再分了一次，成功解决 04 虚拟机命令不被识别 系统的环境变量出现问题，修改配置文件解决 05 Hadoop版本选择 选择了2-7-10这一比较广泛的版本Hadoop 06 Hadoop无法正常启动 由于格式化节点的时候没有先把生成文件都删除 07 结束安装后活节点数是0 这个问题原因一直没有找到，重装解决的 报告正文 实验内容与步骤 本实验主要内容和步骤如下： 实验内容 Hadoop集群搭建（由于伪分布比较简单，所以实验报告描述集群搭建），WorldCount实例测试。 实验步骤 1下载相关软件。主要是Java，VirtualBox，Hadoop安装包，虚拟机的镜像文件。 2安装ArchLinux虚拟机（由于此发行版本比较洁净，系统体积小，运行比较流畅） 安装结果如图： 3进行Hadoop集群安装 启用网络并安装SSH和JDK 配置SSH免密登录 配置JAVA环境变量 显示上图说明JAVA环境变量已经配置完成。 安装Hadoop 安装结束如上图 配置Hadoop 环境变量 在~/.bashrc文件中添加如下内容： 保存并执行 $ source ~/.bashrc使其生效。 修改Hadoop 配置文件 进入 cd /usr/local/hadoop/etc/hadoop/ 修改core-site.xml为： 修改hdfs-site.xml为： 启动Hadoop 输入 ./bin/hdfs namenode -format来格式化 输入 ./sbin/start-dfs.sh 来启动守护进程 查看进程 输入JPS 进入网页查看状态 4 WorldCount实例测试 1创建用户目录。 2将本地input 文件夹中的数据上传到HDFS的input文件夹中。 3运行命令来执行字数统计测试样例 查看最终结果 说明：第一页做封面，简要概述报告，正文部分详述实验内容，标题上的X代表实验编号（实验几）