hadoop - dfs.blocksize，file.blocksize，kfs.blocksize等对hadoop mapreduce工作有什么影响？

当我检查hadoop(0.21.0版)mapreduce作业的job.xml文件时，我发现存在多个blocksize设置:

dfs.blocksize = 134217728(即128MB)

file.blocksize = 67108864(即64MB)

kfs.blocksize = 67108864

s3.blocksize = 67108864

s3native.blocksize = 67108864

ftp.blocksize = 67108864

我期待一些答案来解释以下相关问题:

在这种情况下，dfs，file，kfs，s3等是什么意思？

它们之间有什么区别？

运行mapreduce作业时它们有什么作用？

非常感谢你!

最佳答案

Map reduce可以处理存储在不同类型存储系统上的数据。以上设置是所用存储技术的默认块大小。 dfs(分布式文件系统)是我们在hadoop中常用的默认块大小为128MB。其他设置包括文件(本地)，kfs(kosmos分布式文件系统)，s3(amazon云存储)和ftp(ftp服务器上的文件)。

您可以进一步研究它们，以更好地理解它们并将它们与hadoop功能一起使用。在运行 map 简化作业时，将针对块大小标识针对所使用的特定存储技术的设置。
希望对您有所帮助。

关于hadoop - dfs.blocksize，file.blocksize，kfs.blocksize等对hadoop mapreduce工作有什么影响？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/25157285/