the docs中,默认情况下,AWS默认为每个ETL作业分配10个DPU,默认为每个开发端点分配5个DPU,即使这两个都可以配置最少2个DPU。

还要提到的是,“爬网”的定价也以秒为单位,并且至少要运行10分钟,但是没有指定分配多少DPU。可以在Glue控制台中配置Jobs和Development Endpoints以减少DPU的使用,但是我还没有看到针对爬虫的任何此类配置。

每个搜寻器是否有固定数量的DPU?我们可以控制那个数量吗?

最佳答案

还与AWS支持团队进行了讨论,目前无法修改或查看Glue-爬网程序的DPU配置详细信息。但是,搜寻器是否使用DPU?

08-07 13:04