我四处探索,但找不到解决方案。当我运行jps
命令时,它不显示作业历史记录服务器正在运行。
历史服务器的配置设置是什么,如何启动?
编辑1:
当历史记录服务器停止时,所有先前记录的作业信息都将被删除。群集和/或历史记录服务器重新启动后,如何保留所有这些信息?
最佳答案
JobHistoryServer
进程必须单独启动。
要开始:
$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver
要停止:
$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh stop historyserver
如果群集设置是“伪分布式”,则不需要其他属性。
在多节点集群设置中,将以下
JobHistoryServer
属性添加到mapred-site.xml
中:<property>
<name>mapreduce.jobhistory.address</name>
<value>hostname:10020</value> <!-- hostname of machine where jobhistory service is started -->
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hostname:19888</value>
</property>