seo - 如何使用screamingfrog爬网内网？

我正在尝试对url.prod.companyname.com.au（一个内部站点）上可用的Intranet站点进行爬网。
只是想知道这是否有可能使用任何网络爬虫？

最佳答案

如果您在公司网关的路由器内（如果端点和客户端在子网内，则在子网内）设置DNS记录以将特定域指向内部IP，则绝对可行。
这里有一个带DD-WRT的example。