每当我尝试使用whirr -0.8.2启动大于10个节点的集群时,集群将无法初始化。这是0.8.2的问题。在吉拉(Jira),人们提出了这个问题,最新的树干已经解决了。

最佳答案

最终,我能够解决此问题。我从主干(版本0.9.0)构建了whirr。然后添加以下参数以增加超时时间。

jclouds.compute.timeout.node-terminated=2200000
jclouds.compute.timeout.node-running=2600000
jclouds.compute.timeout.script-complete=22000000
jclouds.compute.timeout.port-open=2200000 jclouds.ssh.retry-auth=true
jclouds.compute.poll-status.initial-period=20000
jclouds.compute.poll-status.max-period=20000

除此之外,还添加了:
whirr.instance-templates-max-percent-failures=100
hadoop-namenode+yarn-resourcemanager+mapreduce-historyserver,80
hadoop-datanode+hadoop-tasktracker
whirr.terminate-all-on-launch-failure=true

现在,whir能够启动大型集群。

关于hadoop - 超过10个节点的大型群集的旋转,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/24318401/

10-10 16:21