我有一个传入的数据流(从网站上抓取的数据),需要进入具有不同格式的不同系统中。流以JSON格式非常详细地到达,应将其推送到ElasticSearch中,但应将这些数据的某些聚合添加到关系数据库甚至Graph数据库中。
对于Kafka / Storm和ElasticSearch,Neo4J等的消费者来说,这是否是一个很好的用例?另外,我想从初始流中获取有关我的监视系统的一些信息,因此我也可能还有一个监视使用者。
对于这个用例来说,看一下像Kafka和Storm这样的东西是否有意义,这更是一个体系结构问题。
谢谢
菲利普
最佳答案
是的,这听起来像是一个很好的用例,Kafka用于流传输数据并将数据推送到不同的数据库中。在处理方面,您有多个选项,例如Storm,Flink,Spark,您可以根据用例选择一个