映射操作通常将输入作为键和值对。它将返回与输出相同的键和值对。如果map将返回非键值对输出,那么到那时Reducer将如何处理该输出。

请对此的任何协助将不胜感激

最佳答案

我不确定Java MapReduce,但是在Hadoop Streaming中,如果映射器不产生任何输出,则缩减器将不会运行。

您可以通过创建2个小型python脚本进行测试:

一个仅消耗输入但不产生任何东西的映射器

#!/usr/bin/python
input()

reducer 一启动就崩溃
#!/usr/bin/python
sys.exit("some error message")

如果启动它,MapReduce作业将完成而不会出现任何错误

关于hadoop - Map操作将非键值发送为MapReduce的输出时,Reducer发生了什么,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/19922024/

10-16 01:35
查看更多