我一直在尝试在任务级别设置Hadoop日志记录,但到目前为止没有成功。

我修改了log4j.properties并将许多参数设置为DEBUG级别:

  • log4j.logger.org.apache.hadoop.mapred.Task = DEBUG
  • log4j.logger.org.apache.hadoop.mapred.MapTask = DEBUG
  • log4j.logger.org.apache.hadoop.mapred.ReduceTask = DEBUG
  • log4j.logger.org.apache.hadoop =调试

  • 但是,我看不到正在记录的任务中的任何LOG.info或LOG.debug消息。这是启用 yarn 的。

    我不确定我在配置中错过了什么以使其正常运行。我认为我最终应该在nodemanage.out日志文件中获得这些消息?

    最佳答案

    您应该能够从Yarn控制台查看应用日志消息,但是到达该路径的步骤有几个步骤。

    1.)转到Yarn控制台,通常为http://yourserver:8088
    2.)转到工具->本地日志
    3.)找到“用户日志”链接并选择它
    4.)找到您的应用程序,例如请使用“应用程序”前缀而不是“作业”前缀的MapReduce作业名称,然后选择它。
    5.)然后在通常为“syslog”的容器日志下,您应该找到您的作业级别日志。

    完整的示例路径如下。
    http://yourserver:8088/logs/userlogs/application_1427820474064_0003/container_1427820474064_0003_01_000019/syslog

    10-01 05:26
    查看更多