我想基于Hadoop安装Apache HAWQ。
在安装HAWQ之前,我应该安装Hadoop并配置所有节点。
我有以下四个节点,我的问题是打击。
我应该为hawq-master
安装hadoop发行版吗?
1. hadoop-master //namenode, Secondary Namenode, ResourceManager, HAWQ Standby,
2. hawq-master //HAWQ Master
3. datanode01 //Datanode, HAWQ Segment
4. datanode02 //Datanode, HAWQ Segment
如上所述,我在节点旁边写了每个节点的角色。
在我看来,我应该为
hadoop-master
,datanode01
和datanode02
安装hadoop,并应将hadoop-master
设置为namenode(主节点),将其他设置为datanode
(从属节点)。然后,我将在所有节点上安装apache HAWQ。我将hawq-master
设置为主节点,并将hadoop-master
设置为HAWQ Standby,最后将其他两个节点设置为HAWQ段。我想要的是基于Hadoop安装HAWQ。因此,我认为
hawq-master
应该建立在hadoop之上,但是与hadoop-master
没有任何联系。如果执行上述步骤,那么我认为不必在
hawq-master
上安装hadoop发行版。我是否认为基于hadoop成功安装HAWQ安装是否正确?如果hadoop应该安装在
hawq-master
上,那么哪一个是正确的?1. `hawq-master` should be set as `namenode` .
2. `hawq-master` should be set as 'datanode`.
任何帮助将不胜感激。
最佳答案
老实说,如果正确配置了hadoop和hawq,则对它们的安装方式没有严格的限制。
对于您的关注,“我认为hawq-master应该建立在hadoop之上,但是与hadoop-master没有任何联系”。 IMO,应该是“hawq应该建立在hadoop之上”。并且我们配置了hawq-master conf文件(hawq-site.xml),以使hawq与hadoop建立连接。
通常,对于hawq master和hadoop master,我们可以将每个组件安装在一个节点上,但是我们可以在一个节点上安装其中的一些组件以保存节点。但是对于HDFS datanode和HAWQ段,我们通常将它们安装在一起。考虑到每台计算机的工作量,我们可以如下安装它们:
hadoop hawq
hadoop-master namenode hawq standby
hawq-master secondarynamenode hawq master
other node datanode segment
如果使用 yarn 集成配置hawq,则集群中将存在resourcemanager和nodemanager。
hadoop role hawq role
hadoop-master namenode hawq standby
hawq-master snamenode,resourcemanager hawq master
other node datanode, nodemanager segment
将它们安装在一起并不意味着它们具有连接,而是使它们可以相互访问的配置文件。
您可以将所有主组件一起安装,但对于计算机而言可能太重了。在http://incubator.apache.org/projects/hawq.html上阅读有关Apache HAWQ的更多信息,并在http://hdb.docs.pivotal.io/211/hdb/index.html上阅读一些文档。
此外,您可以订阅dev和用户邮件列表,发送电子邮件至[email protected] / [email protected]订阅并将电子邮件发送至[email protected]。 apache.org / [email protected]提出问题。
关于hadoop - 在HDFS之上构建的Apache HAWQ安装,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/42263693/