星火迭代HDFS目录

星火迭代HDFS目录

本文介绍了星火迭代HDFS目录的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

我对HDFS目录的目录,我想遍历目录。有没有简单的方法使用SparkContext对象,星火做到这一点?

I have a directory of directories on HDFS, and I want to iterate over the directories. Is there any easy way to do this with Spark using the SparkContext object?

推荐答案

您可以使用<$c$c>org.apache.hadoop.fs.FileSystem.具体来说, FileSystem.listFiles([路径],真实)

和星火...

FileSystem.get(sc.hadoopConfiguration()).listFiles(..., true)

这篇关于星火迭代HDFS目录的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持!

08-01 11:41