在robots.txt文件中，我有以下部分
User-Agent: Bot1
Disallow: /A
User-Agent: Bot2
Disallow: /B
User-Agent: *
Disallow: /C
Bot1和Bot2可以看到
Disallow:c语句吗？ 最佳答案
tl; dr:否，Bot1和Bot2会愉快地抓取以C开头的路径。
每个漫游器最多只能遵守a single record (block)。
原始规范
在original specification中说:
过期的RFC草案
原始规范，包括一些附加内容(例如Allow)成为RFC的草案，但从未得到接受/发表。在3.2.1 The User-agent line中说:
因此，它证实了对原始规范的解释。
实作
以Google为例，gives an example似乎遵循以下规范:
关于seo - Robots.txt中的多个用户代理，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/14710324/