hadoop - 在RHEL 7上安装Apache Bigtop

我正在寻求帮助，我的任务是在工作中站起来一个Hadoop集群。我已经在家里使用开放源代码堆栈在笔记本电脑上完成了单节点的工作(我一直在尝试使用开放源代码Apache堆栈，以避免任何许可费用。现在，我们对Cloudera或HortonWorks没有兴趣。)

我遇到了Apache BigTop堆栈(1.2.0)，并在那里戳了戳。现在，我仍在努力解决这个问题(我尚未找到对Hadoop / Spark版本的引用，等等。)。我可以在以下方面获得一些帮助:

1.2.0版本提供哪些版本的Hadoop / Spark /其他工具？

在RHEL 7下从头开始安装完整的Hadoop / Spark集群是否有很好的引用？我有12台服务器，我打算做2个namenode和10个datanode。 BigTop是否适合此操作，还是应该仅安装每个软件包并手动配置？

我发现了以下内容:

https://cwiki.apache.org/confluence/display/BIGTOP/How+to+install+Hadoop+distribution+from+Bigtop+1.2.0

看起来很有希望，但是对于CentOS 7来说，它是相似的，但并不完全相同。有人可以建议我如何修改它以在RHEL 7下工作吗？我找到了回购协议(protocol)，但没有找到RHEL。

Apache官方页面上的文档似乎很小，或者也许我只是没有找到正确的位置...是否存在指向完整安装集群的引用的良好链接？

感谢所有能提供帮助的人，我非常感谢!

最佳答案

检阅1.2.0版本的文件:

https://cwiki.apache.org/confluence/display/BIGTOP/Bigtop+1.2.0+Release

您将立即获得hadoop 2.7.3和spark 2.1.0。我们在S3上提供了可安装的 Artifact ，以供您测试功能

https://www.apache.org/dist/bigtop/bigtop-1.2.0/repos/centos7/bigtop.repo

注意:我们将于2017年10月15日有效进行S3迁移。之后我们将进行相应的更改。如果您想尽快尝试一下。请将baseurl更改为:

http://repos.bigtop.apache.org/releases/1.2.0/centos/7/x86_64



RHEL和CentOS应该非常相似。我建议:

直接在RHEL上尝试我们的CentOS软件包，看看是否可行。我已经在生产中的RHEL 6上使用过Bigtop CentOS 6软件包，它的工作原理很像魅力。

如果上述方法不起作用，则Bigtop是一个完全开源的解决方案，可让您构建自己的Hadoop发行版。您可以根据所需的发行版来构建整个堆栈。从头开始。我们精心设计的工具和dockerlized框架来支持它。如果您要这样做，请通过[email protected]邮件列表提出您的需求。我们很乐意为您提供帮助。

是。您正在寻找合适的文档。这正是我上面提到的:尽管它用于CentOS 7，但是您可以在RHEL 7上尝试该仓库。

关于hadoop - 在RHEL 7上安装Apache Bigtop，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/45313890/