情况如下：
User-agent: *
Disallow: /
User-agent: Googlebot
Disallow: /test
在这种情况下，googlebot能完成它的工作吗？
我想可能是因为这个文件只指定了不允许googlebot使用/test，所以googlebot可以在除了/test之外的其他目录上执行任务吗？
最佳答案
问：在这种情况下，googlebot能完成它的工作吗？
答：不是这个案子
User-agent: *
Disallow: /
问：我想可能是因为这个文件只指定不允许googlebot/test，所以googlebot可以在除了/test之外的其他目录上执行任务吗？
回答：没错
关于search - 在robots.txt中开头禁止所有机器人后，指定指令是否会创建一个异常(exception)？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/53381967/