虚拟化与云计算课程实验报告——Hadoop平台搭建.doc

虚拟化与云计算 实 验 报 告 目录 一、实验目标 1 二、实验内容 1 三、实验步骤 1 四、实验遇到的问题及其解决方法 1 五、实验结论 1 一、实验目的 实验题目：配置和使用SAN存储 掌握在Linux上配置iSCSI target服务的方法。 实验题目：HadoopMapReduce 安装、部署、使用Hadoop-HDFS 配置运行MapReduce程序，使用MapReduce编程 二、实验内容 实验题目：配置和使用SAN存储 配置在Linux上iSCSI实现两台机器间的共享存储。 实验题目：HadoopMapReduce 掌握在集群上（使用虚拟机模拟）安装部署Hadoop-HDFS的方法。 掌握在HDFS运行MapReduce任务的方法。 理解MapReduce编程模型的原理，初步使用MapReduce模型编程。 三、实验步骤及实验结果 实验题目：配置和使用SAN存储 在实验1中我作为主机提供共享存储空间，实验地点是在机房，但是由于我当时没有截图所以回寝室在自己的电脑上重做，以下为主机步骤： 1.1 确定以root身份执行以下步骤 sudo su – 1.2 安装iSCSI Target软件 1.3 修改/etc/default/iscsitarget ISCSITARGET_ENABLE＝true 1.4 创建共享存储 　　共享存储可以是logical volumes, image files, hard drives , hard drive partitions or RAID devices 　　例如使用image file的方法，创建一个10G大小的LUN： dd if=/dev/zero of=/storage/lun1.img bs=1024k count=10240 修改/etc/iet/ietd.conf 添加： Target .example:storage.lun1 IncomingUser [username] [password] OutgoingUser Lun 0 Path=/storage/lun1.img,Type=fileio Alias LUN1 #MaxConnections 6 　　 1.6 修改/etc/iet/initiators.allow 　　如果只允许特定IP的initiator访问LUN，则如下设置 .example:storage.lun1 00 　　如果任意initiator均可以访问，则： ALL ALL 1.6 启动/重启动iSCSI target /etc/init.d/iscsitarget start /etc/init.d/iscsitarget restart 实验题目：HadoopMapReduce 安装JDK——在实验中安装为OpenJDK 6 Runtime 安装openssh-server，命令为：sudo apt-get install openssh-server，并检查ssh server是否已经启动：ps -e | grep ssh，如果只有ssh-agent那ssh-server/etc/init.d/ssh start，如果看到sshd那ssh-server已了ssh localhost 如果不输入口令就无法用ssh登陆localhost，执行下面的命令： $ ssh-keygen -t rsa -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys 再次执行ssh localhost，完成后请登入确认不用输入密码 安装Hadoop 解压Hadoop安装包到安装目录，在本实验中我新建了一个用户hadoop并把hadoop解压到home/hadoop文件夹下，在伪分布模式下使用的版本为0.20.203，在分布模式下因为要与Eclipse兼容所以最终使用版本为0.20.2，下面部分截图为版本为0.20.203。 并编辑conf/hadoop-env.sh，将JAVA_HOME设置为Java安装根路径 运行运行bin目录下的hadoop，如显示hadoop 脚本的使用文档，说明安装已经完成。如下图所示： 安装部署单机伪分布式模式Hadoop-HDFS Hadoop可以在单节点上以伪分布式模式运行。 编辑/conf/core-site.xml configuration property name/name valuehdfs://localhost:9000/value /property property nam