我有一个在 Glue/Athena 中注册的数据集，称之为 my_db.table 。我可以通过 Athena 查询它，一切似乎都井井有条。
我正在尝试在 Glue 作业中使用此表，但收到以下相当不透明的错误消息:
py4j.protocol.Py4JJavaError: An error occurred while calling o54.getCatalogSource.
: java.lang.Error: No classification or connection in my_db.table
这似乎表明 Glue 无法看到我的表的目录条目，或者无法使用该条目中的信息，但除此之外我没有任何进一步的可见性。
有没有人遇到过这个错误，可能是什么原因造成的？
最佳答案
错误消息实际上很好地描述了问题 - 被查询的表没有分类。
通过 Glue 创建的表使用分类注册 - csv 、 parquet 、 orc 、 avro 、 json 。见 Creating Tables Using Athena for AWS Glue Jobs 。
我通过 Athena “手动”创建的表没有分类。请参阅以下胶水“表格”页面的屏幕截图。
解决方案很简单:在 CREATE TABLE 脚本的末尾，用户必须像这样附加一个 classification 属性
CREATE EXTERNAL TABLE IF NOT EXISTS my_db.my_table (
`id` int,
`description` string
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
WITH SERDEPROPERTIES (
'serialization.format' = ',',
'field.delim' = ',',
'collection.delim' = 'undefined',
'mapkey.delim' = 'undefined'
) LOCATION 's3://my_bucket/'
TBLPROPERTIES ('classification'='csv');
现在该表在 Glue 界面中有一个分类并可通过 Glue 作业访问。
关于amazon-web-services - AWS Glue 无法访问输入数据集，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/46105700/