我试图了解与Hadoop的Map/Reduce框架相关的数据局部性。特别是我试图了解哪个组件处理数据局部性(即它是输入格式吗？)
Yahoo's Developer Network Page指出:“然后，Hadoop框架使用来自分布式文件系统的知识，将这些过程安排在数据/记录位置附近。”这似乎暗示着HDFS输入格式可能会查询名称节点，以确定哪些节点包含所需的数据，并在可能的情况下在这些节点上启动 map task 。可以想象通过查询确定哪些区域正在为某些记录提供服务，HBase可以采用类似的方法。
如果开发人员编写自己的输入格式，他们将负责实现数据局部性吗？
最佳答案
你是对的。如果您正在查看FileInputFormat类和getSplits()方法。它搜索Blocklocations:BlockLocation[] blkLocations = fs.getFileBlockLocations(file, 0, length);
这意味着文件系统查询。这发生在JobClient内部，结果被写入SequenceFile(实际上只是原始字节码)。
因此，Jobtracker稍后会在初始化作业时读取此文件，并且几乎只是将任务分配给输入拆分。
但是数据的分发是NameNodes作业。
现在对您的问题:
通常，您是从FileInputFormat扩展而来的。因此，您将被迫返回InputSplit的列表，并且在初始化步骤中，此类操作需要设置拆分的位置。例如FileSplit:
public FileSplit(Path file, long start, long length, String[] hosts)
因此，实际上您并没有实现数据局部性，只是告诉可以在哪个主机上找到拆分。这可以通过
FileSystem接口(interface)轻松查询。