另一家公司为我管理的网站设置了robots.txt。这是他们使用的代码：
User-agent: googlebot
User-agent: google
User-agent: bingbot
User-agent: bing
Allow: /products/
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /sales/
Disallow: /products/
Allow: /wp-content/uploads/
Allow: /wp-content/themes/
Allow: /wp-admin/admin-ajax.php*
我看到disallow:/products/和allow/products/。我不明白他们为什么这样写。我该换点什么吗？
最佳答案
第一个指令Allow: /products/对google和
宾博茨。
第二个指令Disallow: /products/有效
对于所有其他机器人程序，“用户代理：*”。
我看这些规则没有什么意义，但它们没有违反标准。