是否可以覆盖每个作业的log4j属性?
我有一个多步骤程序(一个管道),该程序运行一些hadoop作业,但在执行之前和之后它还执行一些其他步骤。

如果我使用Java命令(java -jar my_program.jar)运行程序
然后运行正常,但我得到警告:Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
如果我使用hadoop命令(hadoop jar my_program.jar)运行程序
然后加载默认的hadoop log4j.properties

在我的程序中,我将有关步骤执行的信息记录到特定文件中。我不需要hadoop map / reduce任务的日志。我需要程序中的日志,因为它执行许多其他任务。

我应该担心该警告吗?
如何覆盖每个作业的log4j属性,以使用自定义log4j.properties保留管道中的日志?


我正在使用hadoop v1.0.4

编辑:
我发现在导出LD_LIBRARY_PATH之后,使用Unable to load native-hadoop library for your platform...命令运行程序时,不再显示警告java -jar my_program.jar。资料来源:
http://balanceandbreath.blogspot.ca/2013/01/utilnativecodeloader-unable-to-load.html
有人知道如何覆盖每个作业的log4j属性吗?

最佳答案

基于此答案:https://stackoverflow.com/a/7390644/4496488
我正在使用以下代码在启动hadoop作业的主代码中加载我的自定义log4j.properties(在这种情况下,它实际上覆盖了hadoop log4j配置):

String log4jPropertiesFilePath = "path/to/my/custom/log4j.properties";
PropertyConfigurator.configure(log4jPropertiesFilePath);

它不会覆盖datanodes中的log4j属性-仅在启动hadoop作业的程序中-正是我想要的。

关于java - hadoop覆盖每个作业的log4j.properties,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/29057520/

10-11 06:35
查看更多