在两个不同的hadoop集群之间执行distcp命令时，我遇到了问题，
我尝试使用-pb和-skipcrccheck:
hadoop distcp -pb -skipcrccheck -update hdfs://ip1/xxxxxxxxxx/xxxxx hdfs:///xxxxxxxxxxxx/
hadoop distcp -pb hdfs://ip1/xxxxxxxxxx/xxxxx hdfs:///xxxxxxxxxxxx/
hadoop distcp -skipcrccheck -update hdfs://ip1/xxxxxxxxxx/xxxxx hdfs:///xxxxxxxxxxxx/
但似乎没有任何效果。
请提供任何解决方案。
最佳答案
我在完全相同版本的两个Hadoop集群之间遇到distcp的相同问题。对我来说，这是由于源目录之一中的某些文件仍处于打开状态。一旦我为每个源目录分别运行了distcp，我就能发现是这种情况-除了一个带有打开文件的目录之外，所有其他文件都可以正常工作。当然，乍一看很难说出来。
关于hadoop - 源长度上的Distcp不匹配，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/41542844/