在the docs中,默认情况下,AWS默认为每个ETL作业分配10个DPU,默认为每个开发端点分配5个DPU,即使这两个都可以配置最少2个DPU。
还要提到的是,“爬网”的定价也以秒为单位,并且至少要运行10分钟,但是没有指定分配多少DPU。可以在Glue控制台中配置Jobs和Development Endpoints以减少DPU的使用,但是我还没有看到针对爬虫的任何此类配置。
每个搜寻器是否有固定数量的DPU?我们可以控制那个数量吗?
最佳答案
还与AWS支持团队进行了讨论,目前无法修改或查看Glue-爬网程序的DPU配置详细信息。但是,搜寻器是否使用DPU?