是否可以将数据帧从Apache Spark导出到 Feather (https://github.com/wesm/feather)文件？
最佳答案
不确定，您可以直接执行此操作，但是可以先将Spark Dataframe(在pyspark上)转换为 Pandas ，然后将其存储到Feather中:pandas_df = spark_df.toPandas()feather.write_feather(pandas_df, 'example_feather')
但是我担心，这会对性能产生影响。
关于pandas - 如何从Spark以Feather格式\存储方式保存文件？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/38271025/