我们如何在hadoop的分布式缓存中更新文件。
选项:

  • 更新分布式缓存中的文件,然后重新启动mapreduce作业。
  • 用新文件替换文件,并更改指针位置以指向新位置,然后重新启动map reduce作业。
  • 在分布式缓存中追加新值,然后重新启动map reduce作业。
  • 其他选项是.....

  • 我用谷歌搜索,但找不到我的问题的答案,所以在这里发布。
    希望我能得到答案。

    最佳答案

    当mapreduce作业正在运行时,您将无法更新DistributedCache,因为否则这将是关键的竞争。

    您必须重新启动Job,然后只提交另一个DistributedCache数据-作业之间没有持久的DistributedCache。

    09-07 01:57