我的理解是dfs.replication提供了HDFS维护的复制次数。在core-default.xml中,我看到“file.replication”以及“s3.replication”,“ftp.replication”和“s3native.replication”。 “,请您提供任何有关这些变量含义的信息

最佳答案

Hadoop支持不同的FileSystem实现,所有这些属性都定义了用于其相应文件系统的复制因子。

-----------------------------------------------------------------------------------------------
| Replication Factor Property| FileSystem       | URI Scheme | Java Implementation            |
|                            |                  |            | (org.apache.hadoop)            |
-----------------------------------------------------------------------------------------------
| dfs.replication            | HDFS             | hdfs       | hdfs.DistriburedFileSystem     |
-----------------------------------------------------------------------------------------------
| file.replication           | Local            | file       | fs.LocalFileSystem             |
-----------------------------------------------------------------------------------------------
| ftp.replication            | FTP              | ftp        | fs.ftp.FTPFileSystem           |
-----------------------------------------------------------------------------------------------
| s3.replication             | S3 (block based) | s3         | fs.s3.S3FileSystem             |
-----------------------------------------------------------------------------------------------
| s3native.replication       | S3 (native)      | s3n        | fs.s3native.NativeS3FileSystem |
-----------------------------------------------------------------------------------------------

如果fs.defaultFS中定义的FileSystem方案为hdfs://,则将永远不会使用HDFS以外的复制属性。

10-06 11:35