我尝试在Spark中使用Avro GenericRecords,但遇到了java.io.NotSerializableException:org.apache.avro.mapred.AvroWrapper

https://gist.github.com/rjurney/8b90e9b709d061cc0b94

chill项目增加了对Scala的Kryo / Avro支持。如何结合Kryo,Avro,chill和Spark加载Avros?

最佳答案

chill-avro并非用于从FS加载数据,而是用于对飞行中的数据进行序列化。请参阅下面的链接以获取更多信息

https://github.com/twitter/chill/issues/171#issuecomment-45049396

09-16 05:05