hadoop - 在现有Hadoop集群的数据节点上安装NiFi(开源)

如果现有Hadoop群集上有10个数据节点，则可以在4个或6个数据节点上安装NiFi吗？

NiFi的主要目的是每天将数据从RDBMS加载到高容量的HDFS。

数据节点将配置为具有100 GB的高RAM。
将使用外部3节点Zookeeper群集。

此方法是否有主要问题？

仅在的每个数据节点上安装NiFi才10个吗？

拥有10个nifi节点的大型群集是否有任何问题？

一些NiFi配置最佳实践会与Hadoop配置冲突吗？

编辑:当前使用Hortonworks版本2.6.5和开源NiFi 1.9.2

最佳答案

Cloudera Data platform与基于Apache NiFi的Cloudera Dataflow集成在一起，因此集成不必担心。



取决于您期望的流量，但我会考虑将NiFi作为一项独立服务，例如Kafka，Zookeeper……因此，一个3簇的群集将是一个不错的开始，并且如果需要的话可能会增加。不需要启动所有的DataNode。可以与DataNode共享这些服务，只需确保正确分配资源(核心，内存，存储...)即可-使用Cloudera更容易。



有关扩展6) NiFi Clusters Scale Linearly的更多信息。您应该有很多流量才能超过10个节点。



这取决于您如何配置它。我建议两者都使用Cloudera，这已经过测试，可以一起使用。您可能不会获得最新版本的服务，但是至少您拥有更高的可靠性。

关于hadoop - 在现有Hadoop集群的数据节点上安装NiFi(开源)，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/58232632/