我使用的是AWS，对GCP还是陌生的。我大量使用的功能之一是AWS Batch，它在提交作业时自动创建VM，并在完成作业时删除VM。是否有GCP对应对象？根据我的研究，最接近的是GCP数据流。 GCP Dataflow文档将我引到了Apache Beam。但是，当我浏览此处的示例(link)时，感觉与AWS Batch完全不同。
关于提交作业以进行GCP批处理的任何建议？我的要求是简单地从Google Cloud Storage中检索数据，使用Python脚本分析数据，然后将结果返回给Google Cloud Storage。该过程可能需要一整夜，并且我不希望虚拟机在工作完成后处于空闲状态，但我正在 sleep 。
最佳答案
我建议 checkout dsub。它是Google Genomics团队最初开发的一种开源工具，用于在Google Cloud上进行批处理。