《大数据平台构建》实验一：Flume组件安装配置.docx

实验一：Flume组件安装配置

实验任务一：下载和解压Flume

可以从官网下载Flume组件安装包，下载地址如下URL链接所示/dist/flume/1.6.0/。

?

图10-2Flume组件下载地址

使用root用户解压Flume安装包到“/usr/local/src”路径，并修改解压后文件夹名为flume。

[root@master~]#tarzxvf/opt/software/apache-flume-1.6.0-bin.tar.gz-C/usr/local/src

?

[root@master~]#cd/usr/local/src/

?

[root@master~]#mvapache-flume-1.6.0-bin/flume?#修改Flume安装路径文件夹名称

[root@master~]#chown-Rhadoop:hadoopflume/#修改文件夹归属用户和归属组为hadoop用户和hadoop组

实验任务二：Flume组件部署

步骤一：使用root用户设置Flume环境变量，并使环境变量对所有用户生效。

[root@master~]#vi/etc/profile??#编辑系统环境变量配置文件

#setflumeenvironment

exportFLUME_HOME=/usr/local/src/flume??#Flume安装路径

exportPATH=$PATH:$FLUME_HOME/bin?#添加系统PATH环境变量

步骤二：修改Flume相应配置文件。

首先，切换到hadoop用户，并切换当前工作目录到Flume的配置文件夹。

[root@master~]#su-hadoop

?

[hadoop@master~]$source/etc/profile

?

[hadoop@master~]$cd/usr/local/src/flume/conf

拷贝flume-env.sh.template文件并重命名为flume-env.sh。

[hadoop@master~]$cpflume-env.sh.templateflume-env.sh

?

步骤三：修改并配置flume-env.sh文件。

删除JAVA_HOME变量前的注释，修改为JDK的安装路径。

[hadoop@master~]$vi/usr/local/src/flume/conf/flume-env.sh

#?修改JAVA_HOME参数值为jdk安装路径

exportJAVA_HOME=/usr/local/src/jdk1.8.0_152

使用flume-ngversion命令验证安装是否成功，若能够正常查询Flume组件版本为1.6.0，则表示安装成功。

[hadoop@master~]$flume-ngversion

Flume1.6.0?#?查询到Flume版本为1.6.0

Sourcecoderepository:https://git-wip-us.apache.org/repos/asf/flume.git

Revision:2561a23240a71ba20bf288c7c2cda88f443c2080

CompiledbyhshreedharanonMonMay1111:15:44PDT2015

Fromsourcewithchecksumb29e416802ce9ece3269d34233baf43f

实验任务三：使用Flume发送和接受信息

通过Flume将Web服务器中数据传输到HDFS中。

步骤一：在Flume安装目录中创建simple-hdfs-flume.conf文件。

[hadoop@master~]$cd/usr/local/src/flume/

[hadoop@master~]$vi/usr/local/src/flume/simple-hdfs-flume.conf

#添加以下内容

?

a1.sources=r1

a1.sinks=k1

a1.channels=c1

a1.sources.r1.type=spooldir

a1.sources.r1.spoolDir=/usr/local/src/hadoop/logs/

a1.sources.r1.fileHeader=true

a1.sinks.k1.type=hdfs

a1.sinks.k1.hdfs