泰坦版本是1.0.0,无论我尝试什么,所有的 yarn 应用最终都在默认队列中。这些是我尝试过的事情:

1)在titan-hbase-solr.properties中设置属性(以下操作均无效)

mapred.job.queue.name=myqueue
mapreduce.job.queue.name=myqueue
mapred.mapreduce.job.queue.name=myqueue

2)在gremlin shell 中设置属性
gremlin> graph = TitanFactory.open("/usr/iop/4.2.5.0-0000/titan/conf/titan-hbase-solr.properties")
gremlin> mgmt = graph.openManagement()
gremlin> desc = mgmt.getPropertyKey("desc")
gremlin> mr = new MapReduceIndexManagement(graph)

gremlin> mgmt.set('gremlin.hadoop.mapred.job.queue.name', 'myqueue')
Unknown configuration element in namespace [root.gremlin]:

hadoop gremlin> mgmt.set('hadoop.mapred.job.queue.name', 'myqueue')
Unknown configuration element in namespace [root]: hadoop Display stack trace? [yN] n

gremlin> mgmt.set('titan.hadoop.mapred.job.queue.name', 'myqueue')
Unknown configuration element in namespace [root]: titan Display stack trace? [yN] n

gremlin> mgmt.set('mapred.job.queue.name', 'myqueue')
Unknown configuration element in namespace [root]: mapred Display stack trace? [yN] n gremlin>

gremlin> mgmt.set('mapreduce.mapred.job.queue.name', 'myqueue')
Unknown configuration element in namespace [root]: mapreduce Display stack trace? [yN] n

gremlin> mgmt.set('gremlin.mapred.job.queue.name', 'myqueue')
Unknown configuration element in namespace [root.gremlin]: mapred Display stack trace? [yN] n

gremlin> mgmt.set('gremlin.hadoop.mapred.job.queue.name', 'myqueue')
Unknown configuration element in namespace [root.gremlin]: hadoop Display stack trace? [yN] n

最佳答案

YARN是Hadoop 2.0的功能;但是,Titan 1.0并不完全支持Hadoop 2.0(请参见下面的引用),因此这可能是导致您遇到的问题的原因。

有些人 fork 了Titan 1.0,以增加对TinkerPop 3.1的支持,从而增加了对Hadoop 2.x的支持,例如,参见this GitHub repo。还有一个Titan bugdiscussion on the thinkaurelius@ mailing list具有类似的主题,您可能会发现这很有用,其中一篇文章引用了该分支。

作为使用将Titan升级到3.1.x的Titan 1.0分支的替代方法,您还可以考虑依赖于TinkerPop 3.1.1孵化的未发布的Titan 1.1 branch,因此可能适合与Hadoop 2.x和YARN一起使用。 Titan 1.1.0-SNAPSHOT对您可能有用;参见artifacts on Sonatype

以下是Titan wiki的信息,该信息解释了Titan 1.0支持哪些TinkerPop和Hadoop版本:

关于hadoop - 如何为Titan MR作业设置 yarn 作业队列,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/48111815/

10-16 02:53