hadoop - 使用hadoop 2.2的historyserver的正确方法是什么？

我正在使用hadoop hadoop-2.2.0。我可以在主节点和从节点中启动historyserver吗？

但我不确定是否需要在从属服务器上启动历史记录服务器
节点？

如果我在主服务器上启动一个历史记录服务器，能否获得所有作业的所有日志？

如果我需要启动主节点和从节点中的所有服务器，是否有任何命令可以使用一个命令来启动所有服务器？不要一一启动每个服务器。

欢迎任何意见。

最佳答案

您只需要一个历史服务器。它可以在您喜欢的任何节点上运行，包括其自己的专用节点，但传统上与资源管理器在同一节点上运行。一个历史服务器在mapred-site.xml中声明:

mapreduce.jobhistory.address:MapReduce JobHistory服务器host:port默认端口为10020。

mapreduce.jobhistory.webapp.address:MapReduce JobHistory服务器Web UI主机:端口默认端口为19888。

mapreduce.jobhistory.intermediate-done-dir:MapReduce作业(在HDFS中)写入历史文件的目录。默认为/mr-history/tmp

mapreduce.jobhistory.done-dir:历史文件由MR JobHistory服务器(在HDFS中)管理的目录。默认为/mr-history/done

您可以通过historyserver REST API访问历史记录，而不能直接访问内部历史记录文件。对于临时浏览，历史记录可在resouremanager Web UI中使用。

关于hadoop - 使用hadoop 2.2的historyserver的正确方法是什么？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/21843276/