我正在使用beanstalkd从多个前端服务器(php应用程序)收集日志数据,并将数据插入mysql。只要数据增长,我就需要选择Hadoop来使用Hive进行BI数据分析。整合beantalk和hadoop的最佳实践是什么?我找到了FlumeNG,但对于我的需求来说似乎太重了。

最佳答案

真有趣的问题。

checkout Monolog,这是有关使用Fluentd处理日志的出色教程。

您可能要考虑服务的“三角”,Monot附带了Laravel,也提供了Beanstalkd支持,您可以通过 Composer Fluentd快速添加。因此,您可能需要一个Laravel应用程序,该应用程序上有工作人员,然后转发到Fluentd。 Fluentd具有一些很棒的功能,例如延迟的日志和标签。不确定如何处理延迟的日志或日志中的标签,但是您可能已经在管消息中包含了这些内容。

您可以使用Beanstalkd Console查看您的工作并帮助您进行开发。

10-05 20:29
查看更多