python - Spark:读取分区 Parquet 数据中的DateType列时出错

我在S3中具有nyc_date分区的实木复合地板数据，格式为s3://mybucket/mykey/nyc_date=Y-m-d/*.gz.parquet。

我有一个DateType列event_date，由于某些原因，当我尝试从S3读取并使用EMR写入hdfs时会引发此错误。

from pyspark.sql import SparkSession

spark = SparkSession.builder.enableHiveSupport().getOrCreate()
df = spark.read.parquet('s3a://mybucket/mykey/')

df.limit(100).write.parquet('hdfs:///output/', compression='gzip')

错误:

java.lang.UnsupportedOperationException: org.apache.parquet.column.values.dictionary.PlainValuesDictionary$PlainBinaryDictionary
    at org.apache.parquet.column.Dictionary.decodeToInt(Dictionary.java:48)
    at org.apache.spark.sql.execution.vectorized.OnHeapColumnVector.getInt(OnHeapColumnVector.java:233)
    at org.apache.spark.sql.catalyst.expressions.GeneratedClass$GeneratedIterator.processNext(Unknown Source)
    at org.apache.spark.sql.execution.BufferedRowIterator.hasNext(BufferedRowIterator.java:43)
    at org.apache.spark.sql.execution.WholeStageCodegenExec$$anonfun$8$$anon$1.hasNext(WholeStageCodegenExec.scala:370)
    at scala.collection.Iterator$$anon$10.hasNext(Iterator.scala:389)
    at scala.collection.Iterator$$anon$11.hasNext(Iterator.scala:408)
    at org.apache.spark.shuffle.sort.BypassMergeSortShuffleWriter.write(BypassMergeSortShuffleWriter.java:125)
    at org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:79)
    at org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:47)
    at org.apache.spark.scheduler.Task.run(Task.scala:86)
    at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:274)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
    at java.lang.Thread.run(Thread.java:745)

这是我发现的:

本地作品:-) :我以相同格式在本地复制了一些数据，可以很好地查询。

避免选择event_date有效:-) :选择所有50多个列，但是event_date不会导致任何错误。

显式读取路径会引发错误:-( :将读取路径更改为's3a://mybucket/mykey/*/*.gz.parquet'仍然会引发错误。

指定架构仍会引发错误:-( :在加载之前指定架构仍会导致相同的错误。

我可以将包括Eastern_date的数据加载到数据仓库中:-)。

确实很奇怪，这仅对DateType列导致错误。我没有任何其他DateType列。

使用Spark 2.0.2和EMR 5.2.0。

最佳答案

编写镶木地板时，我只是使用StringType而不是DateType。不再有问题了。