由于avro中的数据文件已为此嵌入了模式,因此读者不希望保留单独的.avsc文件来指定模式。我正在搜索以这种方式工作的Java示例,但找不到。有人,请帮助我获得相同的代码示例。

Schema schema = new Schema.Parser().parse(new File("./AvroSchema/emp.avsc"));

DatumReader<GenericRecord> datumReader = new GenericDatumReader<GenericRecord>(schema);
DataFileReader<GenericRecord> dataFileReader = new DataFileReader<GenericRecord>(new File("./AvroFileStore/empData.txt"), datumReader);

GenericRecord emp = null;
while (dataFileReader.hasNext()) {
    emp = dataFileReader.next(emp);
    System.out.println(emp);
}


在此示例中,我们通过使用DataFileReader将单独的avro模式提供给datumReader

最佳答案

GenericDatumReader还有一个不带任何参数的构造函数。只是不要将任何模式传递给它。当然,这仅适用于数据文件,不适用于未嵌入模式的数据流。

顺便说一句,一旦构造了dataFileReader,就可以调用其getSchema()方法来获取架构(如果需要)。

资料来源:Hadoop: The Definitive Guide by Tom White

08-03 17:44