Windows环境搭建Haddop2.8.1.docx

Windows环境搭建Hadoop2.8.1 自动化部CIM 尹小义 2017-09-29 安装准备 Hadoop软件下载 Hadoop相关版本下载地址： HYPERLINK /releases.html /releases.html Hadoop2.8.1下载地址： HYPERLINK /dyn/closer.cgi/hadoop/common/hadoop-2.8.1/hadoop-2.8.1.tar.gz /dyn/closer.cgi/hadoop/common/hadoop-2.8.1/hadoop-2.8.1.tar.gz 如下图：点击任何一个链接下载即可。 JDK下载jdk-8u121-windows-x64，暂时不提供，网上自己搜索 HADOOP在Windows上运行的包 环境配置 Hadoop2.8.1下载解压到本地，改名为HADOOP，解压后的机构如下图 环境变量配置HADOOP_HOME=D:\hadoop； 修改PATH，增加HADOOP的Bin,为ＤＯＳ窗口执行命令 安装jdk-8u121-windows-x64，安装位置不要选择默认C:\Program Files\Java，因为路径之间有空格，hadoop启动的时候会报错，我安装在了D:\app\JAVA，配置JAVA_HOME. 也可以修改：D:\hadoop\etc\hadoop目录下的haoop-env.cmd 将下载的压缩包hadoop-utils解压，拷贝 hadoop.dll，winutils到D:\hadoop\bin，hadoop.dll等文件不要与hadoop冲突。为了不出现依赖性错误可以将hadoop.dll放到c:/windows/System32下一份。 hadoop环境测试，起一个cmd窗口，输入java –version， hadoop version，显示如下： Hadoop配置文件修改，打开hadoop/etc/hadoop下文件core-site.xml / hdfs-site.xml / mapred-site.xml / yarn-site.xml，修改 Core-site.xml configuration???? ???property???? ???????namefs.defaultFS/name???? ???????valuehdfs://localhost:9000/value???? ???/property?? /configuration?? hdfs-site.xml: configuration???? ???????property???? ???????????????namedfs.replication/name???? ????????????????value1/value???? ???????/property???? ???????property???? ????????????????name.dir/name???? ???????????????valuefile:/hadoop/hadoop2017/data/dfs/namenode/value???? ???????/property???? ???????property???? ???????????????namedfs.datanode.data.dir/name???? ???????????????valuefile:/hadoop/hadoop2017/data/dfs/datanode/value???? ???????/property? ??/configuration?? mapred-site.xml:没有，可以把mapred-site.xml.template重命名为mapred-site.xml configuration???? ???????property???? ??????????name/name???? ??????????valueyarn/value???? ???????/property???? /configuration???? yarn-site.xml:???? configuration???? ???????property???? ??????????nameyarn.nodemanager.aux-services/name???? ??????????valuemapreduce_shuffle/value???? ???????/property???? ???????property???? ??????????nameyarn.nodemanager.aux-s