Hadoop安装实验报告.doc

Hadoop实验 ——之Hadoop的安装 实验的主要步骤： 安装和配置Cygwin（/install.html） 安装和配置Hadoop-1.2.1（/docs/stable/cluster_setup.html） 安装和配置Eclipse开发环境 2.1安装和配置Cygwin /install.html网站上下载相应版本的Cygwin，因为我的电脑是Win 7 64位的系统，所以我下载的是64位的安装包。 360发布安全警告，点击【运行】，进行下一步，如下图。 点击【下一步】。 选择从Internet上下载安装，点击【下一步】。 选择保存到C盘cygwin文件夹中，点击【下一步】。 选择直接连接。点击【下一步】。 等待下载镜像站点列表，下载完成后出现选择下载软件包的站点。如图： 根据自己的情况选择合适的下载地址，我选择，点击【下一步】，这个工具就会自动下载软件包信息列表下载完成后进入安装软件包选择页，如下图： 在“Select Packages”对话框中，必须保证“Net Category”下的“OpenSSL”和“Openssh”被安装： 为了在eclipse 上编译Hadoop，则还必须安装“Base Category”下的“sed”： 为了在Cygwin上直接修改hadoop的配置文件，安装“Editors”下的“vim” 还安装了“Devel”下的“subversion ”： 选好需要安装的文件之后，点击【下一步】，如下图： 点击【下一步】，如图： 安装包下载好了以后，默认选择以下两个选项，在桌面和菜单栏创建快捷方式，点击【完成】，就安装好了！ 看，Cygwin在桌面上的快捷方式。 总结经验： 我在安装Cygwin的时候，在最后一步遇到过两次卡住，下不下来的情况，如下图： 遇到这种情况，我采取的的是推倒重来的情况，把电脑里已经下载了一部分的文件删除，重新下载。 第一次和第二次都选择的是第一个镜像： ,结果都卡住。于是我三次选择了如图中蓝色阴影部分的镜像，终于下载成功。 2.2、Cygwin安装好了之后，我们就可以配置系统变量了。 编辑系统变量，新建系统变量 CYGWIN，变量值为ntsec tty，如下图所示： 编辑系统变量里的Path变量，加入C:\cygwin64\bin，如下图所示： 2.3安装sshd服务 双击桌面上的Cygwin图标，启动Cygwin，执行ssh-host-config -y命令 执行后，会提示输入密码，否则会退出该配置，此时输入密码和确认密码，回车。 最后出现Host configuration finished.Have fun!表示安装成功。 输入net start sshd，启动服务。或者在系统的服务里找到并启动Cygwin sshd服务。 输入net start sshd，启动服务安装和配置Hadoop-1..3 3.1安装JDK Hadoop运行需要jdk环境，配置hadoop-env.sh hadoop-env.sh文件中，需要配置JDK的安装路径，配置内容如下： 配置core-site.xml 拷贝D:\hadoop\deploy\hadoop-1.0.3\src\core\core-default.xml文件到D:\hadoop\deploy\hadoop-1.0.3\conf目录下，并重命名为core-site.xml。 * 修改临时文件存放路径 hadoop.tmp.dir /hadoop/sysdata/1.0.3/tmp A base for other temporarydirectories. * 修改文件系统的默认名称 hdfs://localhost:9000 The name of the defaultfile system. A URI whose scheme and authority determine the FileSystemimplementation. The uris scheme determines the config property fs.SCHEME.impl naming the FileSystem implementation class. The uris authority is used to determine the host, port, etc. for afilesystem. 3.5配置hdfs-site.xml * 拷贝D:\hadoop\deploy\hadoop-1.0.3\src\hdfs\hdfs-default.xml文件到D:\hadoop\deploy\hadoop-1.0.3\conf目录下，并重命名为hdfs-site.xml。 * 修改D