当我希望更改适用于将来将要写入该目录的文件时，是否有任何方法可以更改Hadoop中目录的复制因子？
最佳答案
您可以使用以下命令更改文件的复制因子:
hdfs dfs –setrep –w 3 /user/hdfs/file.txt
您还可以使用以下命令更改目录的复制因子:
hdfs dfs -setrep -R 2 /user/hdfs/test
但是更改目录的复制因子只会影响现有文件，并且该目录下的新文件将使用群集的默认复制因子(
dfs.replication from hdfs-site.xml)创建。请参阅link以了解更多信息。
请参阅link为HDFS配置复制因子。
但是您可以通过传递以下内容来临时覆盖并关闭HDFS默认复制因子:
-D dfs.replication=1
当您将其与Map/Reduce作业一起传递时，此方法应能很好地工作。这仅是您的特定工作。
关于hadoop - 更改hadoop中目录的复制因子，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/30558217/