logging - 流畅地解析数据

我精通Elasticsearch的运行，并且正在使用rsyslog从几台Unix机器转发日志(基本上是转发所有日志)。

效果很好，除了我对数据没有任何控制。我想要的是能够标记某些值。现在，所有内容都在@message中。假设我有来自Apache的日志变得流利。我想使用Kibana查看流量(每个ip，每种文件类型，响应等)。

我不知道这是否可以直接在Kibana中完成，还是必须流利地解析。
我应该怎么做？我已经看到了不同日志设置的示例，但是当涉及到Web服务器时，它们都会尾随日志文件。我不能这样做，因为它是一台远程服务器。

另外，我有不同的服务，我想从中获取重要的统计信息(SQL，Web，邮件...)。

注意:我正在使用rsyslog转发日志。

最佳答案

我是Fluentd的维护者之一。

您认为您可以共享Fluentd配置文件以及日志中的示例行吗？

对于SQL，有https://github.com/frsyuki/fluent-plugin-sql

对于Web，您可以使用一种特定于语言的记录器(在http://docs.fluentd.org上的Tutorial下查看)

对于邮件，我还不知道可以处理此问题的插件。我鼓励您询问我们的邮件列表。

关于logging - 流畅地解析数据，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/20134765/