Dataproc是GCP上的一种Apache-Hadoop事实。我需要在集群配置方面进行一些说明。假设,我使用本地Hadoop集群配置了1个namenode和n个数据节点。我是否需要在Dataproc上具有1个主节点和n个与之对应的工作节点。我还想利用Dataproc的自动缩放功能。
在将本地Hadoop基础架构迁移到GCP Dataproc时,是否需要遵循任何标准 list ?

最佳答案

不需要您的Dataproc集群与您的本地配置完全匹配:实际上,Dataproc的优点之一是您可以根据需要重新调整集群以匹配您的工作负载。

GCP有一个detailed guide可用于将本地Hadoop迁移到Dataproc。

关于hadoop - 如何将本地Hadoop配置精确地模拟为GCP Dataproc,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/59151375/

10-12 13:53