所以我有一个url，chickens.com/hatching它有可能被索引的查询字符串，即chickens.com/hatching?type=fast。我当然希望保持基urlchickens.com/hatching的索引，但是没有查询参数。我希望查询参数索引在其他页面上，而不是这个页面上，所以所有页面的catchall都不起作用。其次，我正在重写url以删除后面的斜杠，这会捕获chickens.com/hatching/?type=fast和chickens.com/hatching?type=fast吗？？
这能解决我的问题吗？
Disallow: /hatching?*
我听说这只适用于谷歌爬虫…有没有一个更强大的解决方案为所有爬虫？
谢谢你的帮助！非常感谢。
最佳答案
User-agent: *
Disallow: /hatching?
Disallow: /hatching/
此robots.txt将阻止路径以
/hatching?或/hatching/开头的所有URL，例如：/hatching?/hatching?foo=bar/hatching//hatching/foo/hatching/?foo=bar它只使用了原始robots.txt规范中的特性，因此所有符合条件的机器人都应该能够理解这一点。
关于seo - 禁止robots.txt中的查询字符串仅用于一个网址，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/35929642/