Hadoop集群规划.pdf

• 标准的x86 的服务器 • 以太网络 • 多机架数据中心 • 软件环境 • 硬件的选择 （处理器，硬盘，网络） HDFS MapReduce HBase Hive …… 客户端 客户端 客户端 客户端 Hadoop 集群 管理节点 HDFS MapReduce HBase HHiivvee …… 节点1 节点2 节点3 …… 节点N 角色 描述 节点数目 HDFS NameNode 分布式文件系统用以 1个独立节点 存储文件系统以及数 据块的元数据 HDFS Secondary NameNode的影子节 小规模集群可以和 NameNode 点 NameNode共享节点，大规 模集群用独立节点 HDFS DataNode HDFS数据存储 多个独立节点 MapReduce JobTracker MapReduce调度程序 1个独立节点，小规模集群 可以与NameNode共享，大 规模集群使用独立节点 MapReduce TaskTracker MapReduce实际计算 与DataNode运行在相同的 节点 节点之上 Hive Hive元数据以及驱动 独立配置的话可以与 程序 NameNode共享节点，或者 将元数据存放在客户端 角色 描述 节点数目 ZooKeeper 用以提供集群高可用性的 3个或3个以上的奇数的独 锁服务 立节点（小规模可以和其 它角色共享节点） HBase HMaster HBase用以调度 与其它角色共享节点的多 RegionServer的主模块 个节点 HBase RegionServer HBase中用以管理数据的 一般与DataNode运行与相 模块 同的节点之上 Management Node 可能的集群监控管理节点 一般为一个独立的节点， 如果小规模集群的话可以