本文介绍了创建Hive表来从parquet / avro模式读取parquet文件的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
我们正在寻找一种解决方案,以创建一个外部配置单元表,以根据parquet / avro模式从parquet文件中读取数据。
另外一种方式是使用如何从parquet / avro模式生成配置单元表?
谢谢:)
解决方案使用avro模式在下面尝试:
CREATE TABLE avro_test ROW FORMAT SERDE'org.apache.hadoop.hive .serde2.avro.AvroSerDe'STORED AS AVRO TBLPROPERTIES('avro.schema.url'='myHost / myAvroSchema.avsc');
CREATE EXTERNAL TABLE parquet_test LIKE avro_test STORED AS PARQUET LOCATION'hdfs:// myParquetFilesPath';
在
We are looking for a solution in order to create an external hive table to read data from parquet files according to a parquet/avro schema.
in other way, how to generate a hive table from a parquet/avro schema ?
thanks :)
解决方案
Try below using avro schema:
CREATE TABLE avro_test ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.avro.AvroSerDe' STORED AS AVRO TBLPROPERTIES ('avro.schema.url'='myHost/myAvroSchema.avsc');
CREATE EXTERNAL TABLE parquet_test LIKE avro_test STORED AS PARQUET LOCATION 'hdfs://myParquetFilesPath';
Same query is asked in Dynamically create Hive external table with Avro schema on Parquet Data
这篇关于创建Hive表来从parquet / avro模式读取parquet文件的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持!