Apache_Flume安装与配置-大数据文档资料.docx

Flume安装与配置过程

一、Flume概述

角色

简介

Master

Master负责配置及通信管理，是集群的控制器

Collector

Collector用于对数据进行聚合（数据收集器），往往会产生一个更大的数据流，然后加载到storage（存储）中

Agent

Agent用于采集数据，Agent是flume中产生数据流的地方，同时Agent会将产生的数据流传输到Collector

简单的来说，就是Agent把采集到的数据定时发送给Collector，Collector接收Agent发送的数据并把数据写到指定的位置（Storage）。

二、安装Flume

2.1.准备安装介质

Flume是Java开发实现的，所以在安装Flume之前要先安装JDK，JDK的安装和配置本

文就不做介绍了。Flume下载地址：/cdh/3/

2.2.安装Flume

我们准备安装1个Master、1个Collector和1个Agent，这三个角色分别安装在3台机器上。我们先选择3台Linux机器且这三台机器网络互通（在一个网段），PC1/PC2/PC3。在PC1上安装Master，PC2上安装Collector，PC3上安装Agent。Master、Collector、Agent的安装文件一样，只是配置信息不一样。Flume的所有安装过程都是用root用户进行操作。

2.2.1.安装Master

A.上传Flume安装文件flume-distribution-0.9.4-bin.tar.gz到/opt/psrv/programes目录下，解压安装包：tar-zvxfflume-distribution-0.9.4-bin.tar.gz到当前目录。

B.到flume-distribution-0.9.4/bin目录下，配置文件flume-env.sh.template重命名为flume-env.sh。如果该目录下的脚本没有执行权限，则执行chmod+x*.sh添加脚本执行权限。修改flume-env.sh文件，在文件末尾加上如下代码：

如果系统没有配置Java环境变量，则还要在flume-env.sh中配置flume运行的Java环境。

C.到flume-distribution-0.9.4/conf目录下，配置文件flume-site.xml.template重命名为flume-site.xml。修改flume-site.xml配置文件：

配置Master，flume.master.servers可以配置多个Master，IP之间使用逗号隔开；

flume-site.xml中的配置可以参考flume-conf.xml；

E.Master启动和停止，使用flume-distribution-0.9.4/bin目录下的flume命令进行Master启停操作。启动Master命令：nohup./flumemaster；停止Master命令：./flumekillmaster。如果不能停止Master请杀掉Master的进程（2个），再删除/tmp/flumemaster.pid文件（该文件记录了Master服务主进程号）。

2.2.2．安装Collector

步骤A/B/C与2.2.1-A/B/C相同

A.略B.略C.略

D.到flume-distribution-0.9.4/conf目录下，修改配置文件flume-site.xml（Master配置在C步骤已经完成）添加Collector配置：

启动Collector命令：nohup./flumenode_nowatch-ncollectorName

2.2.3.安装Agent

步骤A/B/C与2.2.1-A/B/C相同

A.略B.略C.略

D.到flume-distribution-0.9.4/conf目录下，修改配置文件flume-site.xml（Master配置在C步骤已经完成）添加Agent配置：

启动Agent命令：nohup./flumenode_nowatch-nagentName

三、配置Flume

3.1.启动Flume基础服务

Master:nohup./flumemaster

Collector:nohup./flumenode_now