在 Spark 2.0 中,我可以将多个文件路径合并为一个加载(参见例如 How to import multiple csv files in a single load? )。

如何使用 sparklyr 的 spark-read-csv 实现这一点?

最佳答案

原来 sparklyr 中文件路径通配符的使用与 SparkR 相同,因此可以将多个文件夹组合到一个调用中。

关于从 sparklyr 中的多个子文件夹读取文件,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/46965550/

10-12 19:00