Linux系统安装Flume详细步骤

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，是一个日志系统，下面良许教程网为大家详细讲解一下Linux系统中安装flume的详细步骤。

flume简介：

• flume 是由 cloudera 软件公司产出的可分布式日志收集系统，后与 2009 年被捐赠了 apache 软件基金会， 为hadoop 相关组件之一。

• Flume 是一种分布式 ， 可靠且可用的服务 ， 用于高效地收集 ， 汇总和移动大量日志数据 。

• 它具有基于流式数据流的简单而灵活的架构 。 它具有可靠的可靠性机制以及许多故障转移和恢复机制 ， 具有强大的容错性和容错能力。它使用一个简单的可扩展数据模型，允许在线分析应用程序。

Linux系统安装flume详细步骤:

前提：已搭建好Hadoop

1 上传压缩包到虚拟机，解压

 tar -zxvf apache-flume-1.7.0-bin.tar.gz

2 修改名字便于使用

 mv apache-flume-1.7.0-bin flume

3 修改flume-env.sh文件：

进入flume安装目录下的conf目录，

 cp flume-env.sh.template flume-env.sh
 
 vim flume-env.sh

在里面配置JAVA_HOME

4 根据数据采集的需求配置采集方案，描述在配置文件中(文件名可任意自定义)

这里在flume的conf目录下新建一个文件：vim netcat-logger.conf

配置如下方案：

 # 定义这个agent中各组件的名字
 
 a1.sources = r1
 
 a1.sinks = k1
 
 a1.channels = c1
 
 
 
 # 描述和配置source组件：r1
 
 a1.sources.r1.type = netcat
 
 a1.sources.r1.bind = localhost
 
 a1.sources.r1.port = 44444
 
 
 
 # 描述和配置sink组件：k1
 
 a1.sinks.k1.type = logger
 
 
 
 # 描述和配置channel组件，此处使用是内存缓存的方式
 
 a1.channels.c1.type = memory
 
 a1.channels.c1.capacity = 1000
 
 a1.channels.c1.transactionCapacity = 100
 
 
 
 # 描述和配置source  channel   sink之间的连接关系
 
 a1.sources.r1.channels = c1
 
 a1.sinks.k1.channel = c1

5 指定采集方案配置文件，在相应的节点上启动flume agent去采集数据

 ./bin/flume-ng agent -c conf -f conf/netcat-logger.conf -n a1  -Dflume.root.logger=INFO,console

 -c conf  指定flume自身的配置文件所在目录

 -f conf/netcat-logger.con  指定我们所描述的采集方案

 -n a1  指定我们这个agent的名字

6 测试

先要往agent采集监听的端口上发送数据，让agent有数据可采

随便在一个能跟agent节点联网的机器上（我这里就使用了本机，再建一个到本机的远程连接）

 telnet anget-hostname port
 
 例如：telnet localhost 44444

但我的虚拟机中还没有安装telnet

二、telnet的安装

1 检测telnet-server的rpm包是否安装

 rpm -qa telnet-server

若无输出内容，则表示没有安装

2 若未安装，则安装telnet-server

 yum install telnet-server

3 检测telnet的rpm包是否安装

 rpm -qa telnet

若无输出内容，则表示没有安装

4 若未安装，则安装telnet

 yum install telnet

5 重新启动xinetd守护进程

 service xinetd restart

5 然后再次执行：telnet localhost 44444

然后就可以看到flume已经接收到了要收集的数据

如何退出telnet呢？？？

首先按ctrl+]退出到telnet > ，然后输入telnet> quit即可退出

以上就是良许教程网为各位朋友分享的Linux系统相关内容。想要了解更多Linux相关知识记得关注公众号“良许Linux”，或扫描下方二维码进行关注，更多干货等着你！