robots.txt中的这两行代码能否成功阻止google使用类似于：http://www.domain-name.com/product tag/…的url为页面编制索引？
User-agent: *
Disallow: /product-tag/
Disallow: /product-tag/*
因为我有一个问题，谷歌索引这些网页，我无法找到另一种方法来阻止。
在搜索引擎中看到robots.txt中的更改需要多长时间？
最佳答案
robots.txt将阻止google对您的站点进行爬网。不一定是索引。尤其是如果它已经索引了它，就不会删除它。
相反，您应该在页面的头部html中添加一个meta noindex标记，然后允许google重新搜索页面以查看此内容（即不要使用robots.txt阻止）。在所有页面都退出google（这可能需要一些时间）之后，如果需要，可以使用robots.txt来阻止它。
robots.txt的主要原因和好处是阻止谷歌浪费时间查看这些页面。每个站点都有一个爬网预算，因此谷歌每天只会重新索引一定数量的页面。所以如果它浪费了很多时间
对不需要编制索引的页进行预算，这样就无法使需要编制索引的页尽可能保持最新。
此外，您不应该依赖robots.txt来隐藏敏感文件，因为某些爬虫程序（尽管不是google）可能会忽略它。
最后，如果您的产品已经被编入索引，而且这些页面是重复的，所以您不希望它们被编入索引，那么您可以在头代码中使用rel canonical link来指向真正的页面，而不是noindex。
关于seo - SEO - robots.txt不允许文件夹，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/37326479/