我需要在所有 map 上保留全局的字符串数组,并 reduce task ,每个任务在运行时都可以更新。

在hadoop 1.2.1中可以做到吗?

据我了解,计数器仅适用于long类型,而分布式缓存文件是只读的。

如果有人可以为这个问题提供指导,那就太好了。

谢谢!

最佳答案

您真的不应该在map-reduce程序中拥有共享变量。

但是,如果您真的需要检查动物园管理员,则它是分布式协调服务,并且是hadoop生态系统的核心部分。您可以使用它来存储任何类型的共享数据,包括字符串数组。

关于hadoop - 在map-reduce任务之间共享全局数组,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/27643261/

10-16 21:28