hadoop集群eclipse安装配置.pdf

hadoop 集群 eclipse 安装配置 1、Hadoop 开发环境简介 Hadoop 集群简介 Java 版本：jdk -6u31-linux-i586.bin Linux 系统：CentOS6.0 Hadoop 版本：hadoop-1.0.0.tar.gz Windows 开发简介 Java 版本：jdk -6u31-windows-i586.exe Win 系统：Windows 7 旗舰版 Eclipse 软件：eclipse-jee -indigo-SR1-win32.zip | eclipse-jee -helios-SR2-win32.zip Hadoop 软件：hadoop-1.0.0.tar.gz Hadoop Eclipse 插件：hadoop-eclipse-plugin-1.0.0.jar 备注：下面是网上收集的收集的hadoop-eclipse-plugin-1.0.0.jar ，除版本 2.0是根据V1.0按照常见问题 FAQ_ 1 改的之外，剩余的V3.0、V4.0和V5.0和V2.0一样是别人已经弄好的，而且我已经都测试过，没有任何问题，可以放 心使用。我们这里选择第V5.0使用。记得在使用时重新命名为hadoop-eclipse-plugin-1.0.0.jar。 2、Hadoop Eclipse 简介和使用 Eclipse 插件介绍 Hadoop 是一个强大的并行框架，它允许任务在其分布式集群上并行处理。但是编写、调试 Hadoop 程序都有很大难度。 正因为如此，Hadoop 的开发者开发出了 Hadoop Eclipse 插件，它在 Hadoop 的开发环境中嵌入了 Eclipse ，从而实现了 开发环境的图形化，降低了编程难度。在安装插件，配置 Hadoop 的相关信息之后，如果用户创建 Hadoop 程序，插件会 自动导入 Hadoop 编程接口的 JAR 文件，这样用户就可以在 Eclipse 的图形化界面中编写、调试、运行 Hadoop 程序（包 括单机程序和分布式程序），也可以在其中查看自己程序的实时状态、错误信息和运行结果，还可以查看、管理 HDFS 以及 文件。总地来说，Hadoop Eclipse 插件安装简单，使用方便，功能强大，尤其是在 Hadoop 编程方面，是 Hadoop 入门和 1 / 30 Hadoop 编程必不可少的工具。 Hadoop 工作目录简介 为了以后方便开发，我们按照下面把开发中用到的软件安装在此目录中，JDK 安装除外，我这里把 JDK 安装在 C 盘的默 认安装路径下，下面是我的工作目录： 系统磁盘（E ：） |HadoopWorkPlat | eclipse | hadoop-1.0.0 | workplace |…… 按照上面目录把 Eclipse 和 Hadoop 解压到E:\ HadoopWorkPlat下面，并创建workplace作为 Eclipse 的工作空间。 备注：大家可以按照自己的情况，不一定按照我的结构来设计。 修改系统管理员名字 经过两天多次探索，为了使 Eclipse 能正常对 Hadoop 集群的 HDFS 上的文件能进行修改和删除，所以修改你工作时所 2 / 30 用的 Win7 系统管理员名字，默认一般为Administrator ，把它修改为hadoop ，此用户名与Hadoop 集群普通用户一 致，大家应该记得我们 Hadoop 集群中所有的机器都有一个普通用户——hadoop ，而且Hadoop 运行也是用这个用户进行 的。为了不至于为权限苦恼，我们可以修改Win7 上系统管理员的姓名，这样就避免出现该用户在 Hadoop 集群上没有权限 等都疼问题，会导致在 Eclipse 中对 Hadoop 集群的 HDFS 创建和删除文件受影响。 你可以做一下实验，查看 Master.Hadoop 机器上/usr/hadoop/logs下面的日志。发现权限不够，不能进行Write 操作，网上有几种解决方案，但是对 Hadoop1.0 不起作用，详情见常见问题 FAQ_2。下面我们进行修改管理