首先,我尝试了How to set system environment variable from Mapper Hadoop?,但mapred.map.child.env对我不起作用。

我正在使用hadoop 0.20.1。我想将启 Action 业的类中的所有系统环境传递给mapper。这是我的工作:

    StringBuilder envStr = new StringBuilder();
    for (Entry<String, String> entry : System.getenv().entrySet()) {
        envStr.append(entry.getKey() + "=" + entry.getValue() + ",");
    }
    if (envStr.length() > 0) {
        envStr.deleteCharAt(envStr.length() - 1);
    }
    // System.out.println("Setting mapper child env to :" + envStr);
    getConf().set("mapred.map.child.env", envStr.toString());

但这是行不通的。我也尝试过只设置一个系统值,但是它也不起作用。在Mapper中,System.getenv不包含该值。但是job.xml具有键和值。有什么办法吗?

最佳答案

您的Hadoop似乎太旧了。这是hadoop 0.20的错误。

Plz升级到0.21或更稳定的1.0.x。

有关更多信息,请参见related jirahadoop 0.21.0 release note

09-11 01:55