我想知道
当客户端将数据存储到hdfs中时,谁完全执行将大文件拆分为较小块的任务?
客户端是否直接将数据写入DataNodes?如果是这样,什么时候将数据分成64 MB或128 MB?

最佳答案

JobClient不会执行作业跟踪程序



输入本身依赖于集群。客户端仅计算从名称节点获得的元信息(块大小,数据长度,块位置)。这些computed输入拆分将元信息携带到任务中,例如块偏移量和要计算的长度。

关于hadoop - 谁在hadoop中分割文件?是Job Tracker吗?,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/24443495/

10-16 14:36
查看更多