良许Linux教程网 干货合集 Linux下安装日志收集系统flume

Linux下安装日志收集系统flume

flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统,在实际开发环境中被广泛使用,本篇文章重点为大家讲解一下Linux下部署flume具体步骤。

image-20211128222909072

环境说明:

操作系统:CentOS6.9 64位

解压:

tar -xzvf apache-flume-1.7.0-bin.tar.gz

创建软链接:

ln -s /opt/modules/apache-flume-1.6.0-cdh5.9.3-bin/ /opt/shortcut/flume

这里不再添加环境变量

修改flume-env.sh配置文件:

# 先修改名字
mv flume-env.sh.template flume-env.sh

vim flume-env.sh

# 添加JAVA_HOME
export JAVA_HOME=/usr/java/default

创建一个配置文件,这里使用官网给的一个例子

vim test.conf

# 内容如下:
# example.conf: A single-node Flume configuration

# Name the components on this agent
# 定义一个 agent 的元素

a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
# 配置 source

a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

# Describe the sink
# 配置 sink

a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
# 定义 channel

a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
# 用 channel 连接起来 source 和 sink

a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

安装telnet:

yum install telnet

yum install telnet-server

yum install xinetd

重启telnet:

service xinetd restart

启动flume:

bin/flume-ng agent --conf conf --conf-file conf/test.conf --name a1 -Dflume.root.logger=INFO,console

Linux下Flume安装配置及简单使用_01 启动telnet:

telnet localhost 44444

在telnet里输入内容: Linux下Flume安装配置及简单使用_02

在Flume进而查看是否接收到: Linux下Flume安装配置及简单使用_03

会看到这样的内容,可能有时候这一行显示的内容比我们输入的内容要少,并不是没有接收到,而是因为超过了它能显示的长度,给省略掉了

以上就是良许教程网为各位朋友分享的Linu系统相关内容。想要了解更多Linux相关知识记得关注公众号“良许Linux”,或扫描下方二维码进行关注,更多干货等着你 !

img
本文由 良许Linux教程网 发布,可自由转载、引用,但需署名作者且注明文章出处。如转载至微信公众号,请在文末添加作者公众号二维码。
良许

作者: 良许

良许,世界500强企业Linux开发工程师,公众号【良许Linux】的作者,全网拥有超30W粉丝。个人标签:创业者,CSDN学院讲师,副业达人,流量玩家,摄影爱好者。
上一篇
下一篇

发表评论

联系我们

联系我们

公众号:良许Linux

在线咨询: QQ交谈

邮箱: yychuyu@163.com

关注微信
微信扫一扫关注我们

微信扫一扫关注我们

关注微博
返回顶部