文档详情

安装hadopCDH5安装服务步骤.doc

发布:2018-03-20约3.68千字共27页下载文档
文本预览下载声明
CDH5上安装Hive,HBase,Impala,Spark等服务 2 一、安装前准备工作 2 1、下载安装中需要的文件: 2 2、准备安装的服务器 3 3、在web服务器上发布CentOS-6.5-x86_64安装盘文件 3 4、创建 hosts 和 yum配置文件 4 5、 上安装 PostgreSQL 4 二、图解Hive,HBase,Impala,Spark 的安装和配置 5 1、登录CM5 5 2、选择Cloudera Express 5 3、可供选择的安装包列表 6 4、为CDH集群指定主机 7 5、进入添加主机向导 8 6、进入添加服务向导: 14 7、进入CM首页 25 三、小结 26 CDH5上安装Hive,HBase,Impala,Spark等服务 Apache Hadoop的服务的部署比较繁琐,需要手工编辑配置文件、下载依赖包等。Cloudera Manager以GUI的方式的管理CDH集群,提供向导式的安装步骤。由于需要对Hive,HBase,Impala,Spark进行功能测试,就采用 了Cloudera Manager方式进行安装。 Cloudera Manager提供两种软件包安装源,Package 和?Parcel: Package就是一个个rpm文件,以yum的方式组织起来。 Parcel是rpm包的压缩格式,以.parcel结尾,所有的 rpm压缩在一个文件中,方便下载和分发,使用manifest.json文件对parcel文件进行描述,将parcel文件保存到局域网内的Web服 务器上,安装过程中就不需要从互联网上下载文件了,实现了离线安装。 安装Hive,HBase,Impala,Spark之前,Cloudera Manager应该已经安装好了,参见:本地Yum软件源安装Cloudera Manager 5?这篇文章,使用的操作系统为?CentOS-6.5-x86_64,CM版本为 5.0.2 ,采用parcel包方式安装, 从?/cdh5/parcels/3/ 下载如下的文件,保存到Web服务器的?/var/www/html/cdh5/parcels/latest?目录?: [root@localhost?latest]#?pwd?? /var/www/html/cdh5/parcels/latest?? [root@localhost?latest]#?ll?? total?1793948?? -rw-r--r--?1?root?root?1836961055?Jun?15?06:51?CDH-5.0.2-1.cdh5.0.2.p0.13-el6.parcel?? -rw-r--r--?1?root?root??????33190?Jun?15?09:04?manifest.json?? 从?/redhat/cdh/ 下载:RPM-GPG-KEY-cloudera,这是对rpm包进行校验的文件,保存到Web服务器的?/var/www/html/redhat/cdh 目录: [root@localhost?cdh]#?pwd?? /var/www/html/redhat/cdh?? [root@localhost?cdh]#?ll?? total?4?? -rw-r--r--?1?root?root?1690?Jun?16?07:32?RPM-GPG-KEY-cloudera?? [root@localhost?cdh]#??? 2、准备安装的服务器 测试环境一共使用了六台服务器,列表如下: 服务器列表 ip地址 hostname 描述信息 40 本地web服务器 41 CM,管理节点 51 节点1 52 节点2 53 节点3 54 节点4 ip地址 hostname 描述信息 hadoopnamenode 本地web服务器 hadoopnamenode CM,管理节点 Hadoopdatanode1 节点1 所有的服务器上安装CentOS-6.5-x86_64,并关闭防火墙、selinux、保持时间一致。保持所有的root用户密码一致。一个 Hadoop集群中的节点最少为三台,本测试环境的节点为四台,上面的ip地址需要根据自已的网络情况进行调整,这是我搭建的虚拟机的IP。 安装过程中,需要从CentOS-6.5-x86_64安装盘上读取一些rpm包,需要将安装盘发布为本地yum源。将安装盘挂载到web服务器,并添加软连接到web目录,web服务器上的web根目录如下: [root@localhost?html]#?pwd?? /var/www/html?? [root@localhost?html]#?ll?? total
显示全部
相似文档