文档详情

Gaia大数据平台安装部署手册.docx

发布:2018-01-18约1.16万字共37页下载文档
文本预览下载声明
Gaia大数据平台安装部署手册目的本文描述Gaia大数据平台安装部署方法。术语CM: Cloudera Manager (Cloudera公司专有的Hadoop集群管控平台)CDH: Cloudera Distributed Hadoop(Cloudera公司重新打包发布的Hadoop版本)Impala: Cloudera开源的实时查询项目,与Hive共用元数据软件硬件环境说明软件版本软件版本CDH 5.6MySQLmysql-5.1.66JDK1.7Operating SystemRedHat6.4逻辑部署架构硬件环境及规划国网共有6台服务器,规划如下:服务器名IP软件gaia-host05MySQLCDH reposCMGaia kernelGaia Consolegaia-hd00106CDHgaia-hd00207CDHgaia-hd00308CDHgaia-hd00409CDH操作系统配置修改服务器名及hosts文件以修改服务器的服务名:root用户登录1、修改过hostname, gaia-host为例说明:#vi /etc/sysconfig/networkNETWORKING=yesHOSTNAME=mad-master2、修改hosts 文件,增加其他主机ip,#vi /etc/hosts localhostlocalhost.localdomain localhost4 localhost4.localdomain4::1 localhost localhost.localdomain localhost6 localhost6.localdomain621mad-master23mad-hd0124mad-hd0225mad-hd0327mad-standby28mad-hd0429mad-hd0530mad-hd063、查看解析文件cat /etc/resolv.conf# Generated by NetworkManager# No nameservers found; try putting DNS servers into your# ifcfg files in /etc/sysconfig/network-scripts like so:## DNS1=xxx.xxx.xxx.xxx# DNS2=xxx.xxx.xxx.xxx# DOMAIN= 4.当前会话生效主机名hostnamemad-master安装java1、查看原来java,并卸载。#rpm -qa | grep javatzdata-java-2012j-1.el6.noarchjava-1.7.0-openjdk--.el6_3.x86_64java-1.6.0-openjdk--1.5.el6_3.x86_64卸载默认java,如:# rpm -e tzdata-java-2012j-1.el6.noarch --nodeps# rpm -ejava-1.7.0-openjdk--.el6_3.x86_64# rpm -e java-1.6.0-openjdk--1.5.el6_3.x86_642、安装JDK 1.7.0_79(主节点平台主节点安装,CDH节点无需手动安装)将jdk1.7.0_79.tar.gz上传至/usr/local目录#tar –zxvfjdk1.7.0_79.tar.gz 解压配置系统参数:#vi /etc/profile?export JAVA_HOME=/usr/local/jdk1.7.0_79export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin立即生效:#source /etc/profile新增用户1、创建用户组hadoop#groupaddhadoop2、新增用户hadoop#useradd-g hadoophadoop3、设置用户密码hadoop123##echo hadoop123#| passwdhadoop --stdin /dev/null 21sudo无密码验证配置root用户登录vi /etc/sudoers强制保存退出关闭防火墙和SELinux1、关闭防火墙#service iptables stop (临时关闭)#chkconfigiptables off (重启后生效) 2、关闭SELinux#vi/etc/selinux/configSELINUX=disabled (重启后生效)保存退出如果不想重启系统,使用命令setenforce 0(暂时生效,重
显示全部
相似文档