在我的 robots.txt 文件中，我有以下行
用户代理:Googlebot-Mobile
不允许:/
用户代理:GoogleBot
不允许:/
网站 map :http://mydomain.com/sitemapindex.xml
我知道如果我输入前 4 行，googlebot 不会索引这些站点，但是如果我输入最后一行 Sitemap: http://mydomain.com/sitemapindex.xml ，googlebot 能够索引该站点吗？
谢谢，
最佳答案
我针对我自己的域(每个页面都有一个站点地图条目)测试了您的 robots.txt，Googlebot 和 Googlebot-Mobile 返回它们被禁止访问。
基于此 - 我会说 robots.txt 文件优先于任何站点地图。
另外，从逻辑上讲 - 如果您阻止整个域，则不允许机器人访问站点地图。站点地图条目只是告诉爬虫在哪里可以找到您的站点地图 - 而不是他们的访问权限。
即使您允许使用站点地图，我也不认为机器人会抓取您的网站 - 站点地图的设计更多地是为了告诉机器人抓取您网站的频率，而不是允许它们抓取的内容。
关于robots.txt - googlebot 会索引我的网站吗？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/728374/