我想基于Hadoop安装Apache HAWQ。

在安装HAWQ之前,我应该安装Hadoop并配置所有节点。

我有以下四个节点,我的问题是打击。

我应该为hawq-master安装hadoop发行版吗?

1. hadoop-master   //namenode, Secondary Namenode, ResourceManager, HAWQ Standby,
2. hawq-master     //HAWQ Master
3. datanode01      //Datanode, HAWQ Segment
4. datanode02      //Datanode, HAWQ Segment

如上所述,我在节点旁边写了每个节点的角色。
在我看来,我应该为hadoop-masterdatanode01datanode02安装hadoop,并应将hadoop-master设置为namenode(主节点),将其他设置为datanode(从属节点)。然后,我将在所有节点上安装apache HAWQ。我将hawq-master设置为主节点,并将hadoop-master设置为HAWQ Standby,最后将其他两个节点设置为HAWQ段。

我想要的是基于Hadoop安装HAWQ。因此,我认为hawq-master应该建立在hadoop之上,但是与hadoop-master没有任何联系。

如果执行上述步骤,那么我认为不必在hawq-master上安装hadoop发行版。我是否认为基于hadoop成功安装HAWQ安装是否正确?

如果hadoop应该安装在hawq-master上,那么哪一个是正确的?
1. `hawq-master` should be set as `namenode` .
2. `hawq-master` should be set as 'datanode`.

任何帮助将不胜感激。

最佳答案

老实说,如果正确配置了hadoop和hawq,则对它们的安装方式没有严格的限制。

对于您的关注,“我认为hawq-master应该建立在hadoop之上,但是与hadoop-master没有任何联系”。 IMO,应该是“hawq应该建立在hadoop之上”。并且我们配置了hawq-master conf文件(hawq-site.xml),以使hawq与hadoop建立连接。

通常,对于hawq master和hadoop master,我们可以将每个组件安装在一个节点上,但是我们可以在一个节点上安装其中的一些组件以保存节点。但是对于HDFS datanode和HAWQ段,我们通常将它们安装在一起。考虑到每台计算机的工作量,我们可以如下安装它们:

                     hadoop             hawq
 hadoop-master       namenode           hawq standby
 hawq-master         secondarynamenode  hawq master
 other node          datanode           segment

如果使用 yarn 集成配置hawq,则集群中将存在resourcemanager和nodemanager。
                     hadoop role                hawq role
 hadoop-master       namenode                   hawq standby
 hawq-master         snamenode,resourcemanager  hawq master
 other node          datanode, nodemanager      segment

将它们安装在一起并不意味着它们具有连接,而是使它们可以相互访问的配置文件。
您可以将所有主组件一起安装,但对于计算机而言可能太重了。在http://incubator.apache.org/projects/hawq.html上阅读有关Apache HAWQ的更多信息,并在http://hdb.docs.pivotal.io/211/hdb/index.html上阅读一些文档。

此外,您可以订阅dev和用户邮件列表,发送电子邮件至[email protected] / [email protected]订阅并将电子邮件发送至[email protected]。 apache.org / [email protected]提出问题。

关于hadoop - 在HDFS之上构建的Apache HAWQ安装,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/42263693/

10-10 16:59