hive - AWS 雅典娜 : does `msck repair table` incur costs?

我在 S3 中有 ORC 数据，如下所示:

s3://bucket/orc/clientId=client-1/year=2017/month=3/day=16/hour=20/
s3://bucket/orc/clientId=client-2/year=2017/month=3/day=16/hour=21/
s3://bucket/orc/clientId=client-3/year=2017/month=3/day=16/hour=22/

我每小时运行一个 EMR 作业，将 S3 中的原始 JSON 转换为 ORC，并使用路径分区约定(上文)将其写出以供 Athena 摄取。 EMR 作业完成后，我运行 msck repair table 以便 Athena 可以选择新分区。

我有3个相关的问题:

在这种情况下运行 msck repair table 是否会在 AWS 中花钱？

AWS Docs say msck repair table 可以超时。有没有办法可以在数据管道中迈出一步以继续运行此命令直到它成功完成？

我更愿意手动将分区添加到 Athena(因为我知道我正在处理的年、月、日、小时)。但是我不知道 clientId 因为它们可能有 1-X 个，而且我不知道在运行 EMR 时存在哪些。是否有解决此问题的最佳实践方法(使用 Hive 或其他方法)？我可以进行 s3 api 调用以获取 s3://bucket/org/ 列表并编写代码以迭代列表并手动添加。我希望有更简单的方法...

注意:当我说“手动添加分区”时，我的意思是做这样的事情:

ALTER TABLE <athena table>
ADD PARTITION (clientId='client-1',year=2017,month=3,day=16,hour=20)
location 's3://bucket/orc/clientId=client-1/year=2017/month=3/day=16/hour=20/';

最佳答案

AWS says :



AWS says :



我还不知道如何自动化 msck repair table 以确保它完成。

关于hive - AWS 雅典娜 : does `msck repair table` incur costs?，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/42845002/