我正在尝试将Elasticsearch数据流式传输到Snowflake中。我正在测试一个python脚本，该脚本最终将部署为AWS上的云功能/ docker应用程序。出于历史原因，我使用scroll API将x个对象写入字符串，并将字符串写入文件。我已经使用了Snowflake的PUT file://file.json.gz @stage，但这意味着我需要在临时存储之前将文件临时写入磁盘。我要提取的数据非常多，并且正在尝试消除尽可能多的步骤。我可以用轻松的方式直接将文件写入舞台吗？
最佳答案
如果在保存到S3时创建链接到S3的Snowflake Stage，无论您决定使用什么，它都会自动出现在Snowflake Stage上，这样，您只需发送COPY INTO命令并保存一两个步骤即可。
我认为，这是一个简单方便的解决方案。
如果您需要这些步骤，请告诉我，我们很乐意在此处发布这些步骤。