我见过网站隐藏robot.txt文件。
如果输入网站名称为
http://www.mysite.com/robot.txt
您将不会收到robot.txt，
我还想把robot.txt文件隐藏起来，不让访问者看到怎么做？
这些线路有连接吗
<meta name="ROBOTS" content="NOODP">
<meta name="Slurp" content="NOYDIR">
所以我不明白密码的意思。
谢谢您！
最佳答案
我不知道你到底在问什么，但你不能用url重写来实现吗？您可以使用爬虫程序的用户代理字符串（例如，“googlebot”）为访问者显示robots.txt文件，如果是非爬虫UA，则重定向到404
关于seo - 如何隐藏来自访客的robot.txt？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/12992622/