scala - 无法将数据 append 到 Parquet 上[FileAlreadyExists异常]

我正在尝试使用命令将数据从数据帧追加到现有的镶木地板文件中：

dfModified
  .write
  .mode("append")
  .parquet("/home/hduser/s_s_c/fadpd/fadpd.parquet")

但是我一直在得到这种例外：

Exception in thread "main" org.apache.hadoop.fs.FileAlreadyExistsException: Parent path is not a directory: file:/home/hduser/s_s_c/fadpd/fadpd.parquet

另外，我在一开始就将spark.speculation设置为false。
有谁知道我在哪里误区？感谢您的帮助和时间！

最佳答案

对于所有试图在镶木地板文件中附加数据的人。您无法附加实木复合地板文件。您需要重新创建一个新的，并且在查询时，您需要查询所有这些:)