由于avro中的数据文件已为此嵌入了模式,因此读者不希望保留单独的.avsc文件来指定模式。我正在搜索以这种方式工作的Java示例,但找不到。有人,请帮助我获得相同的代码示例。
Schema schema = new Schema.Parser().parse(new File("./AvroSchema/emp.avsc"));
DatumReader<GenericRecord> datumReader = new GenericDatumReader<GenericRecord>(schema);
DataFileReader<GenericRecord> dataFileReader = new DataFileReader<GenericRecord>(new File("./AvroFileStore/empData.txt"), datumReader);
GenericRecord emp = null;
while (dataFileReader.hasNext()) {
emp = dataFileReader.next(emp);
System.out.println(emp);
}
在此示例中,我们通过使用
DataFileReader
将单独的avro模式提供给datumReader
。 最佳答案
GenericDatumReader
还有一个不带任何参数的构造函数。只是不要将任何模式传递给它。当然,这仅适用于数据文件,不适用于未嵌入模式的数据流。
顺便说一句,一旦构造了dataFileReader
,就可以调用其getSchema()
方法来获取架构(如果需要)。
资料来源:Hadoop: The Definitive Guide by Tom White