我需要在Mac上以Hadoop Local模式对一些Hadoop MR代码进行原型(prototype)设计，我想听听可能会有一些陷阱。
一个特别的问题是关于映射器和缩减器的数量。基本上两者兼而有之？指定多于1完全可行吗？我将使用较小的样本。
最佳答案
您无法在本地模式下指定映射器和化简器的数量。它始终是单线程的。同时，如果要分析映射器或化简器的性能-这将是非常现实的。
当所有重传都在单个计算机上运行时，可以具有许多映射器和约化器的最近模式是伪分布式模式。
以上两种情况都不会考虑数据局部性和改组性能的可能问题。我也不希望您的开发机器具有与生产相同的磁盘子系统。
简而言之-如果在本地模式下单个映射器/化简器的性能较低，则可以开始对其进行修复。如果运行良好，请在计划群集之前尝试使用实际的硬件。
关于hadoop - Hadoop本地模式:映射器和缩减器的数量，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/10569123/