我想知道我该如何（或者是否）引导googlebot浏览我的博客。我应该只允许访问带有单个条目的页面，还是应该爬行主页（也有完整条目）？我担心的是，当我添加一篇新文章时，主页会发生变化，而谷歌会保留旧版本一段时间。我也觉得把人们引向主页很烦人——在找到你感兴趣的文章之前，你必须浏览所有的文章。那么，解决这个问题的正确方法是什么？
最佳答案
为什么不提交一个sitemap和适当的<changefreq>标签-如果你设置为“总是”的主页，爬虫将知道你的主页是非常不稳定的（当然，你也可以有其他网址的准确更改频率）。你也可以给你的主页一个较低的优先权，给你更高的网页一个你更喜欢看到的索引。
我不建议告诉爬虫程序避免完全索引你的主页，因为那样会丢掉你可能从其他网站链接到它的链接果汁——调整更改频率和优先级似乎更好。