本文介绍了星火迭代HDFS目录的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
我对HDFS目录的目录,我想遍历目录。有没有简单的方法使用SparkContext对象,星火做到这一点?
I have a directory of directories on HDFS, and I want to iterate over the directories. Is there any easy way to do this with Spark using the SparkContext object?
推荐答案
您可以使用<$c$c>org.apache.hadoop.fs.FileSystem$c$c>.具体来说, FileSystem.listFiles([路径],真实)
和星火...
FileSystem.get(sc.hadoopConfiguration()).listFiles(..., true)
这篇关于星火迭代HDFS目录的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持!