hadoop - Flume:数据传输到服务器

我是Flume-ng的新手。我必须编写一个程序，该程序可以将文本文件传输到其他程序(代理)。我知道我们必须了解代理，即主机IP，端口号等，然后应定义源，接收器和通道。我只想将日志文件传输到服务器。我的客户代码如下。
公共(public)类MyRpcClientFacade {

public class MyClient{

  private RpcClient client;
  private String hostname;
  private int port;

  public void init(String hostname, int port) {
        this.hostname = hostname;
        this.port = port;
        this.client = RpcClientFactory.getDefaultInstance(hostname, port);

      }

      public void sendDataToFlume(String data) {
        Event event = EventBuilder.withBody(data, Charset.forName("UTF-8"));
        try {
          client.append(event);
        } catch (EventDeliveryException e) {
          client.close();
          client = null;
          client = RpcClientFactory.getDefaultInstance(hostname, port);
        }
      }

      public void cleanUp() {
        client.close();
      }
}

上面的代码只能将String数据发送到指定的进程。但是我必须发送文件。另外请告诉我是否必须将Source,Channel and Sink写入服务器？如果是这样，如何配置和编写这三个。请帮我。给出一小段Source,Sink And Channel

最佳答案

实际上，您只需要在每个节点上获取Flume客户端即可。然后，您提供一个配置文件，其中提供有关其行为的信息。
例如，如果您的节点读取了一个文件(读取每一行，并将它们作为事件发送到channel)，然后通过RPC套接字发送文件内容。您的配置将如下所示:

  # sources/sinks/channels list
  <Agent>.sources = <Name Source1>
  <Agent>.sinks = <Name Sink1>
  <Agent>.channels = <Name Channel1>
  # Channel attribution to a source
  <Agent>.sources.<Name Source1>.channels = <Name Channel1>
  # Channel attribution to sink
  <Agent>.sinks.<Name Sink1>.channels = <Name Channel1>
  # Configuration (sources,channels and sinks)
  # Source properties : <Name Source1>
  <Agent>.sources.<Name Source1>.type = exec
  <Agent>.sources.<Name Source1>.command = tail -F test
  <Agent>.sources.<Name Source1>.channels = <Name Channel1>
  # Channel properties : <Name Channel1>
  <Agent>.channels.<Name Channel1>.type = memory
  <Agent>.channels.<Name Channel1>.capacity = 1000
  <Agent>.channels.<Name Channel1>.transactionCapacity = 1000
  # Sink properties : <Name Sink1>
  <Agent>.sinks.<Nom Sink1>.type = avro
  <Agent>.sinks.<Nom Sink1>.channel = <Nom Channel1>
  <Agent>.sinks.<Nom Sink1>.hostname = <HOST NAME or IP>
  <Agent>.sinks.<Nom Sink1>.port = <PORT NUMBER>

然后，您将必须设置一个代理，该代理将在同一端口上的avro源上进行读取，并以您想要存储它们的方式来处理事件。
希望对您有所帮助；)

关于hadoop - Flume:数据传输到服务器，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/19112465/