我的理解是dfs.replication提供了HDFS维护的复制次数。在core-default.xml中,我看到“file.replication”以及“s3.replication”,“ftp.replication”和“s3native.replication”。 “,请您提供任何有关这些变量含义的信息
最佳答案
Hadoop支持不同的FileSystem实现,所有这些属性都定义了用于其相应文件系统的复制因子。
-----------------------------------------------------------------------------------------------
| Replication Factor Property| FileSystem | URI Scheme | Java Implementation |
| | | | (org.apache.hadoop) |
-----------------------------------------------------------------------------------------------
| dfs.replication | HDFS | hdfs | hdfs.DistriburedFileSystem |
-----------------------------------------------------------------------------------------------
| file.replication | Local | file | fs.LocalFileSystem |
-----------------------------------------------------------------------------------------------
| ftp.replication | FTP | ftp | fs.ftp.FTPFileSystem |
-----------------------------------------------------------------------------------------------
| s3.replication | S3 (block based) | s3 | fs.s3.S3FileSystem |
-----------------------------------------------------------------------------------------------
| s3native.replication | S3 (native) | s3n | fs.s3native.NativeS3FileSystem |
-----------------------------------------------------------------------------------------------
如果
fs.defaultFS
中定义的FileSystem方案为hdfs://
,则将永远不会使用HDFS以外的复制属性。