我一直在收到有关
“在过去的24小时内，Googlebot尝试访问您的robots.txt时遇到了1个错误。为确保我们没有抓取该文件中列出的任何页面，我们推迟了抓取。您网站的robots.txt总体错误率是100.0 ％。
您可以在网站站长工具中查看有关这些错误的更多详细信息。 ”
我搜索了它，并告诉我在我的网站上添加robots.txt
当我在Google网站管理员工具上测试robots.txt时，就无法获取robots.txt。
我以为robots.txt可能被我的网站阻止了，但是当我测试时却说是GWT允许的。
'http://momentcamofficial.com/robots.txt'
这是robots.txt的内容:
用户代理: *
不允许:
那么为什么Google无法获取robots.txt？我想念的是什么...。有人可以帮助我吗？
最佳答案
如您所知，robots.txt是可选的，因此您无需创建任何一个，只需确保您的主机仅发送200或404 HTTP状态即可。