hadoop - Flume将数据加载到本地文件系统

我在linux中使用hadoop 2.2。有人可以告诉我如何在flume中使用fileroll。我知道fileroll将数据发送到本地文件系统。有人可以告诉我如何吗？

提前致谢..

最佳答案

为了使用文件卷接收器，您只需要在水槽配置文件中配置接收器。此配置文件示例将从位于/logs/source目录中的假脱机目录源中获取数据，并将其通过内存通道发送到/logs/sink目录中的文件卷接收器。

您还可以在水槽用户指南here中查看其他配置选项

# Define a memory channel called ch1 on agent1
agent1.channels.ch1.type = memory

agent1.sources.spool.type = spooldir
agent1.sources.spool.channels = ch1
agent1.sources.spool.spoolDir = /logs/source
agent1.sources.spool.fileHeader = true

agent1.sinks.fr1.type = file_roll
agent1.sinks.fr1.channel = ch1
agent1.sinks.fr1.sink.directory = /logs/sink

agent1.channels = ch1
agent1.sources = spool
agent1.sinks = fr1

关于hadoop - Flume将数据加载到本地文件系统，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/24015325/