a2.cnf
#定义agent名称，source，channel，sink的名称
#a1就是我们给agent起的名字，我们知道有多个agent，那么我们就是通过这个来进行区别
#我们知道agent包含了三个重要的组件，有source，channel，sink
#那么我们也给这个三个组件分别取名字
a1.sources = r1
a1.channels = c1
a1.sinks = k1
#定义具体的source内容
#我这个source具体是什么类型的，读取什么样的数据
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /home/hadoop/bigdata/logs
#定义具体的channel信息
#我们source定义好了，就要来定义我们的channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 100
#定义具体的sink信息
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://192.168.56.2:9000/flume/event
a1.sinks.k1.hdfs.filePrefix = events-
a1.sinks.k1.hdfs.fileType = DataStream
#不按照条数生成文件
a1.sinks.k1.hdfs.rollCount = 0
#HDFS上的文件达到128M生成一个文件
a1.sinks.k1.hdfs.rollSize = 134217728
#HDFS上的文件达到60秒生成一个文件
a1.sinks.hdfs.rollInterval = 60
#定义拦截器,其实可以来拦截一些没用的数据，这里是为了让消息添加时间戳，这样我就知道这个数据是什么时候发送过来的
#那么我们可以将这个数据动态的写入到某个目录下面，比如1月1号的数据我写到1月1号这个目录，2号写入对应的2号目录
#这样更方便查找和查看
a1.sources.r1.interceptors =
#最后来组装我们之前定义的channel和sink
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1 a3.conf
#定义agent名称，source，channel，sink的名称
#a1就是我们给agent起的名字，我们知道有多个agent，那么我们就是通过这个来进行区别
#我们知道agent包含了三个重要的组件，有source，channel，sink
#那么我们也给这个三个组件分别取名字
a2.sources = r1
a2.channels = c1
a2.sinks = k1
#定义具体的source内容
#这里是执行命令以及下面对应的具体命令
#这个命令执行后的数据返回给这个source
a2.sources.r1.type = exec
a2.sources.r1.command = tail -F /home/hadoop/bigdata/logs/log
#定义具体的channel信息
#我们source定义好了，就要来定义我们的channel
a2.channels.c1.type = memory
a2.channels.c1.capacity = 10000
a2.channels.c1.transactionCapacity = 100
#定义具体的sink信息
#这个logger sink，就是将信息直接打印到控制台
#就是打印日志
a2.sinks.k1.type = logger
#最后来组装我们之前定义的channel和sink
a2.sources.r1.channels = c1
a2.sinks.k1.channel = c1 netcat_test.conf
#定义agent名称，source，channel，sink的名称
#a1就是我们给agent起的名字，我们知道有多个agent，那么我们就是通过这个来进行区别
#我们知道agent包含了三个重要的组件，有source，channel，sink
#那么我们也给这个三个组件分别取名字
a1.sources = r1
a1.channels = c1
a1.sinks = k1
#定义具体的source内容
#我这个source具体是什么类型的，读取什么样的数据
a1.sources.r1.type = netcat
a1.sources.r1.bind = hm02
a1.sources.r1.port = 6666
#定义具体的channel信息
#我们source定义好了，就要来定义我们的channel
#capacity：默认该通道中最大的可以存储的event数量是10000
#trasactionCapacity：每次最大可以从source中拿到或者送到sink中的event数量是100
a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 100
#定义具体的sink信息
a1.sinks.k1.type = logger
#最后来组装我们之前定义的channel和sink
#source可以对应多个channel
#sink只能对应一个channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1 netcat_test2m.conf
#定义agent名称，source，channel，sink的名称
#a1就是我们给agent起的名字，我们知道有多个agent，那么我们就是通过这个来进行区别
#我们知道agent包含了三个重要的组件，有source，channel，sink
#那么我们也给这个三个组件分别取名字
a1.sources = r1
a1.channels = c1
a1.sinks = k1
#定义具体的source内容
#我这个source具体是什么类型的，读取什么样的数据
a1.sources.r1.type = netcat
a1.sources.r1.bind = hm02
a1.sources.r1.port = 6666
#定义具体的channel信息
#我们source定义好了，就要来定义我们的channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 100
#定义具体的sink信息
#a1.sinks.k1.type = logger
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = hs0201
a1.sinks.k1.port = 8888
#最后来组装我们之前定义的channel和sink
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1 netcat_test2s.conf
#定义agent名称，source，channel，sink的名称
#a1就是我们给agent起的名字，我们知道有多个agent，那么我们就是通过这个来进行区别
#我们知道agent包含了三个重要的组件，有source，channel，sink
#那么我们也给这个三个组件分别取名字
a1.sources = r1
a1.channels = c1
a1.sinks = k1
#定义具体的source内容
#我这个source具体是什么类型的，读取什么样的数据
a1.sources.r1.type = avro
a1.sources.r1.bind = hs0201
a1.sources.r1.port = 8888
#定义具体的channel信息
#我们source定义好了，就要来定义我们的channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 100
#定义具体的sink信息
a1.sinks.k1.type = logger
#最后来组装我们之前定义的channel和sink
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1