hadoop入门实战手册.doc

北京宽连十方数字技术有限公司 公开 内部公开√ 机密 绝密 Hadoop入门实战手册 北京宽连十方数字技术有限公司 技术研究部 （2011年7月） 目录 TOC \o 1-3 \h \z \u HYPERLINK \l _Toc299723361 1 概述 PAGEREF _Toc299723361 \h 4 HYPERLINK \l _Toc299723362 1.1 什么是Hadoop？ PAGEREF _Toc299723362 \h 4 HYPERLINK \l _Toc299723363 1.2 为什么要选择Hadoop？ PAGEREF _Toc299723363 \h 5 HYPERLINK \l _Toc299723364 1.2.1 系统特点 PAGEREF _Toc299723364 \h 5 HYPERLINK \l _Toc299723365 1.2.2 使用场景 PAGEREF _Toc299723365 \h 5 HYPERLINK \l _Toc299723366 2 术语 PAGEREF _Toc299723366 \h 5 HYPERLINK \l _Toc299723367 3 Hadoop的单机部署 PAGEREF _Toc299723367 \h 6 HYPERLINK \l _Toc299723368 3.1 目的 PAGEREF _Toc299723368 \h 6 HYPERLINK \l _Toc299723369 3.2 先决条件 PAGEREF _Toc299723369 \h 6 HYPERLINK \l _Toc299723370 3.2.1 支持平台 PAGEREF _Toc299723370 \h 6 HYPERLINK \l _Toc299723371 3.2.2 所需软件 PAGEREF _Toc299723371 \h 6 HYPERLINK \l _Toc299723372 3.2.3 安装软件 PAGEREF _Toc299723372 \h 7 HYPERLINK \l _Toc299723373 3.3 下载 PAGEREF _Toc299723373 \h 7 HYPERLINK \l _Toc299723374 3.4 运行Hadoop集群的准备工作 PAGEREF _Toc299723374 \h 7 HYPERLINK \l _Toc299723375 3.5 单机模式的操作方法 PAGEREF _Toc299723375 \h 7 HYPERLINK \l _Toc299723376 3.6 伪分布式模式的操作方法 PAGEREF _Toc299723376 \h 8 HYPERLINK \l _Toc299723377 3.6.1 配置 PAGEREF _Toc299723377 \h 8 HYPERLINK \l _Toc299723378 3.6.2 免密码ssh设置 PAGEREF _Toc299723378 \h 9 HYPERLINK \l _Toc299723379 3.6.3 执行 PAGEREF _Toc299723379 \h 9 HYPERLINK \l _Toc299723380 4 Hadoop集群搭建过程手记 PAGEREF _Toc299723380 \h 12 HYPERLINK \l _Toc299723381 4.1 免密码SSH设置 PAGEREF _Toc299723381 \h 12 HYPERLINK \l _Toc299723382 4.2 Hadoop软件安装 PAGEREF _Toc299723382 \h 12 HYPERLINK \l _Toc299723383 4.3 Master(85)配置 PAGEREF _Toc299723383 \h 13 HYPERLINK \l _Toc299723384 4.4 Slave(60,245上)配置 PAGEREF _Toc299723384 \h 14 HYPERLINK \l _Toc299723385 4.5 初始化和启动hadoop集群 PAGEREF _Toc299723385 \h 15 HYPERLINK \l _Toc299723386 4.5.1 初始化文件系统 PAGEREF _Toc299723386 \h 15 HYPERLINK \l _Toc299723387 4.5.2 启动Hadoop PAGEREF _Toc299723387 \h 15 HYPERLINK \l _Toc299723388 4.