我刚接触过水槽,所以请告诉我...如何使用水槽将日志文件从本地计算机存储到本地我的HDFS
我在设置类路径和flume.conf文件时遇到问题
谢谢,
阿杰
最佳答案
我们确实需要更多信息来了解为什么事情对您有用。
简短的答案是,您需要一个Source来从中读取数据(可能是假脱机目录源),一个Channel(如果不需要可靠的存储,则为内存通道)和HDFS接收器。
更新资料
OP报告收到错误消息,“您必须在水槽类路径中包含conf文件”。
您需要提供conf文件作为参数。您可以使用--conf-file
参数来实现。例如,我在开发中使用的命令行是:bin/flume-ng agent --conf-file /etc/flume-ng/conf/flume.conf --name castellan-indexer --conf /etc/flume-ng/conf
出现这种错误消息是因为bin/flume-ng
脚本在运行Flume之前将--conf-file
参数的内容添加到了类路径中。
关于hadoop - 如何使用Flume将数据从本地计算机加载到HDFS,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/16623661/