在robot.txt文件中，我放置了一个url/custompages/*，google bot不应该对与“/custompages/”匹配的页面进行爬网。
但当我查看网站管理员时，我仍然可以看到来自这些链接的错误消息。
User-agent: *
Disallow: /search/application/*
Disallow: /custompages/*
上面是我的robot.txt文件。
在网站管理员上我可以看到
Googlebot couldn't access the contents of this URL because the server had an internal error when trying to process the request. These errors tend to be with the server itself, not with the request.对于URL
custompages/savesearch?alid=9161哪里可能出了错？
最佳答案
Disallow: /search/application/
Disallow: /custompages/
够了，不需要*标志。