使用 robots.txt 是否可以限制机器人对(特定)查询字符串(参数)值的访问？
IE
http://www.url.com/default.aspx #allow
http://www.url.com/default.aspx?id=6 #allow
http://www.url.com/default.aspx?id=7 #disallow
最佳答案
User-agent: *
Disallow: /default.aspx?id=7 # disallow
Disallow: /default.aspx?id=9 # disallow
Disallow: /default.aspx?id=33 # disallow
etc...
您只需要指定不允许的 url。默认情况下允许其他所有内容。
关于seo - 限制机器人访问(特定)查询字符串(参数)值？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/1177111/