我想编排我的 EMR 作业。所以我认为 oozie 会很合适。我已经在 oozie 工作流程上做了一些 POC,但在本地模式下,它相当简单而且很棒。

但我不明白如何在 EMR 集群上使用 oozie。
根据一些搜索,我了解到 aws 没有随 oozie 一起提供,因此我们已将其明确安装为引导操作。
大多数人指向这个链接
https://github.com/lila/emr-oozie-sample

但由于我是 aws(EMR) 的新手,我仍然对如何使用它感到困惑。
这会很棒,如果有人可以为我提供一些步骤或其他东西来简化它。

谢谢

最佳答案

我有一些问题,我发布到 AWS 技术支持,我得到了以下答复。我试过了,Oozie 已全部安装并运行,无需额外的努力。

为了在 EMR 集群上安装 Oozie,您需要安装 Hue。原因是目前 EMR 上的 Oozie 是作为 Hue 的依赖项安装的。根据 http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/ami-versions-supported.html ,AMI 3.3.0 和 3.3.1 支持 Hue。在安装了 Hue -> http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-hue.html 的情况下启动 EMR 集群后,您应该能够立即使用 Oozie,因为它已经配置并启动。

关于amazon-web-services - 如何在 EMR 集群中运行/安装 oozie,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/22342346/

10-16 21:35