Cloudera Manager部署文档(v2.2)解析.docx

代 号名 称Cloudera Manager的部署文档单 位编 写校 对审 核标 审批 准浙江航天恒嘉数据有限公司编 号XXXX密 级公开阶 段X页 数会签文档控制变更记录版本号日期作者段落、图或表增加/修改/删除简单描述更改申请单号Cloudera简介Cloudera Manager功能概述Cloudera Manager是CDH市场领先的管理平台。Cloudera Manager对CDH的每个部件都提供了细粒度的可视化和控制.。Cloudera Manager的目的是为了使得对于企业数据中心的管理变得简单和直观。Cloudera Manager能够提供以下的功能：（1）方便集群部署，并且集中式的操作完整的大数据软件栈（2）提供实时的集群概况，例如节点、服务的运行状况；（3）提供了集中的中央控制台对集群的配置进行更改。（4）包含全面的报告和诊断工具，帮助优化性能和利用率。CDH概述Hadoop是一个开源项目，所以很多公司在这个基础上进行商业化，Cloudera对hadoop做了相应的改变。Cloudera公司的发行版，我们将该版本称为CDH（Cloudera Distribution Hadoop）。系统环境软件环境（1）操作系统 CentOS6.5（2）Cloudera Manager 版本： 5.8.2（3）JDK版本 JDK1.7.0_80硬件环境图2-1 10台虚拟机参数配置基础环境配置搭建关闭防火墙在防火墙开启的情况下，执行如下两条命令。关闭命令：service iptables stop永久关闭防火墙：chkconfig iptables off两个命令同时运行，运行完成后查看防火墙关闭状态： service iptables status图3-2 关闭防火墙关闭IPv6关闭IPV6：修改/etc/sysctl.conf配置文件，加入如下内容 vi sysctl.conf加入#shutdown IPv6net.ipv6.conf.all.disable_ipv6 = 1net.ipv6.conf.default.disable_ipv6 = 1使修改配置生效 sysctl -p重启网卡：service network restart图3-4 查看关闭IPv6后的网络状态关闭selinux（1）命令：sudo vi /etc/sysconfig/selinux（2）“SELINUX=”后的信息为“disabled”（3）重启机器?指令?reboot图3-5将selinux改为disabled在源服务器中安装?web服务#yum?install httpd?启动httpd#service?httpd?start打开网络vim /etc/sysconfig/network-script/ifcfg-eth0修改为onboot=yesssh无密码设置（1）生成ssh密码对，命令为：ssh-keygen -t rsa -P -f ~/.ssh/id_rsa将id_dsa.pub追加到授权的key中，命令为：cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys设置授权key权限，命令为：chmod 600 ~/.ssh/authorized_keys至此实现了自身的无密码登录，其余虚拟机按照以上操作实现本机ssh无密码登录。（2）相互之间ssh无密码登录然后将秘钥传给其余九台服务器，实现其他九台服务器对其无密码登录，命令行如下：scp /.ssh/authorized_keys root@192.168.0.XXX(其他服务器的IP地址)，在其他虚拟机上进行如下操作来配置主机的无密码登录：Cat~/id_rsa.pub ~/ssh/authorized_keys这样就实现了该机器对其他九台无密码登录。在其他九台虚拟机上如上操作，实现10台虚拟机的无密码登录。图3-6 虚拟机之间ssh免密登陆网络配置（所有节点）编辑/etc/sysconfig/network修改hostname图3-7 修改hostnameHosts文件是配置IP地址及其对应的主机名的文件，该文件可以配置主机名，在局域网或Internet上区分每一台主机。在每一台虚拟机上，编辑/etc/hosts文件，修改IP与主机名的对应关系图3-8 /etc/hosts文件添加的IP与相应域名安装Oracle的JavaCentOS自带Open Jdk，不过运行CDH5需要使用Oracle的jdk，需要Java 7的支持。jdk安装的时候，一定要采用rpm的安装方式，而不要采用tar解压的安装方式。因为rpm的安装方式，会在/usr/lib下新建两个软连接。 首先，卸载自带的OpenJdk，使用rpm -qa | g