hadoop - 如何将presto群集集成到hadoop群集？

我们有基于ambari的Hadoop集群
由于节俭服务器的性能较差，我们决定将其替换为presto
我们当前的Hadoop集群具有以下计算机
960个数据节点机器(基于redhat 7 OS)

关于话语的几句话
Presto(或PrestoDB)是一个开放源代码的分布式SQL查询引擎，它是从头开始设计的，可以针对任何大小的数据进行快速分析查询。它支持两种非关系源，例如Hadoop分布式文件系统(HDFS)，

我们按照以下步骤安装了新的presto服务器
首先，我们安装了操作系统(redhat 7)，总共13台计算机
1台用于presto协调器的机器
还有12台供普雷斯托 worker 使用的机器

安装操作系统后
我们成功安装了presto(presto协调员+ presto worker )

现在，我们被困在如何进行presto集群与Hadoop集群之间的集成中

我将给出有关 hive 连接器的简短示例(hive.properties)

我们有以下变量
hive.config.resources = / etc / hadoop / conf / core-site.xml，/ etc / hadoop / conf / hdfs-site.xml

由于此文件位于数据节点机器上，并且当然不在presto worker机器上，因此我假设我们需要将这些文件从数据节点机器之一复制到presto worker机器上

我在这里吗？

最佳答案

通常，您无需配置hive.config.resources即可让Presto与您的HDFS群集进行通话。尝试在没有该配置的情况下使用Presto。仅在有特殊要求(例如Hadoop KMS)时配置它。

要配置它，请将适当的Hadoop配置文件复制到Presto机器(协调器和工作器)，然后将hive.config.resources设置为指向这些文件。

有关更多详细信息，请参见Hive connector documentation。

关于hadoop - 如何将presto群集集成到hadoop群集？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/55743740/