我正在尝试安装开源hadoop或从要由ambari安装的源构建HDP。我可以看到可以使用apache repos中的文档为每个组件构建java包,但是我如何使用这些来构建hortonworks提供的rpm / deb包,以便由ambari安装HDP分发。

最佳答案

@ShivamKhandelwal从源代码构建Ambari是一项挑战,但可以坚持不懈地完成。在这篇文章中,我公开了我最近在centos中用于构建Ambari 2.7.5的命令:

Ambari 2.7.5 installation failure on CentOS 7

“从源代码构建HDP”是一项非常艰巨的任务,因为它需要分别构建每个组件,创建自己的公共(public)/私有(private)存储库,其中包含每种操作系统版本的所有组件存储库或rpm。这是一项艰巨的任务,以前由Hortonworks的许多员工和组件贡献者管理。

当您从HDP安装Ambari时,它与它们的存储库一起开箱即用,包括其HDP堆栈(HDFS,Yarn,MR,Hive等)。当您从源安装Ambari时,没有堆栈。唯一的解决方案是构建自己的堆栈,这是我擅长的事情。

我目前正在构建一个DDP堆栈作为示例,以与公众共享。我通过对HDF管理包进行反向工程来开始这个项目,该管理包包括堆栈结构(文件/文件夹),以实现NiFi,Kafka,Zookeeper等功能。我已将其自定义为具有我自己的服务和组件(NiFi,Hue,Elasticsearch等)的堆栈。

我使用DDP的目标是最终为我想要的组件和服务创建自己的存储库,以及要在群集中安装的版本。接下来,我将使用最后一个免费的公共(public)HDP堆栈(HDP 3.1.5)将某些HDP组件(例如HDFS,YARN,HIVE)从HDP堆栈直接复制到我的DDP堆栈中。

关于hadoop - 如何从开源Hadoop或由ambari安装的公共(public)可用HDP源代码构建deb/rpm存储库,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/61805789/

10-12 22:57