1、什么是Flume:apache顶级项目,主要用来做数据采集。分布式、高可用,将海量日志进行采集、聚合、传输的系统。能够对数据进行简单处理在发送到接收方。

Flume组件-LMLPHP

2、Flume组件:source、channel、sink,一个Flume可以有一个source,多个channel、多个sink

(1)source:数据收集组件,将日志从不同的client中收集过来。

(2)channel:数据缓冲区。临时存储从source传过来的Event。

(3)sink:将event从channel中读取出来并移除,传输至数据接收方,或者连接下一个agent的线管中。

source、channel、sink共同组成了一个agent,一个agent就是一个JVM,一个angent运行在一台服务器上。

event是一个数据单元,由消息头和消息体组成,可以是日志记录、avro对象。

3、source常见的源:spooling directory、exec、syslog、JMS Source、Avro Source

三种可监控文件或目录的source:

spooling directory source:监控一个目录,并同步目录下的新文件到sink,被同步完的文件可被立即删除或打上标记。适用于同步新文件,不适用于实时追加日志的文件进行监听和同步。可改进解决。

exec source:可以通过tail -f 命令tail住一个文件,然后将日志文件追加的内容实时同步到sink中。但是存在的问题就是agent挂了,再次重启,会有数据重复读取的问题。可通过添加uuid来解决,或改进。

taildir source:可以实时监控一批文件,并记录每个文件最新消费的位置。agent重启后不会有重复消费的问题。

JMS Source:java 消息中间件。

Avro Source:数据序列化系统。

补充:这里的source组件可以自定义:例如项目需要监控mysql中的数据,实时的从mysql中拉取数据,这时我们可以自己实现MysqlSource。参考官方文档,需要继承AbstractSource并实现其中的方法。

4、双层Flume:双层Flume主要用来做    负载均衡、容灾

第一层Flume做数据采集,第二层Flume做数据聚合和sink。两层之间采用sinkGroup实现负载均衡。

第一层某个代理失败,那么可以考虑由第一层的其他节点来接管故障节点。如果是第二层代理停止运行,则为了防止数据丢失,只能让每一个第一层代理具有多个冗余的Avro sink,然后把这些sink安排到同一个sink组中,如果第二层代理中的某个代理出现问题,则该事件会被传递给该层sink组的其他代理来完成,以此来实现故障转移和负载均衡。

Flume多层代理防止数据丢失:

https://blog.csdn.net/qq_26442553/article/details/79042603

https://blog.csdn.net/huonan_123/article/details/88421847

参考博客:https://www.cnblogs.com/frankdeng/p/9067102.html

05-11 22:50