我尝试在Spark中使用Avro GenericRecords,但遇到了java.io.NotSerializableException:org.apache.avro.mapred.AvroWrapper
https://gist.github.com/rjurney/8b90e9b709d061cc0b94
chill项目增加了对Scala的Kryo / Avro支持。如何结合Kryo,Avro,chill和Spark加载Avros?
最佳答案
chill-avro并非用于从FS加载数据,而是用于对飞行中的数据进行序列化。请参阅下面的链接以获取更多信息
https://github.com/twitter/chill/issues/171#issuecomment-45049396