python - 阻止机器人抓取我的Google App Engine网站

我注意到我的Google App Engine网站正被许多机器人（例如Baido和Ahrefs）抓取，并且它们吞噬了我所有的带宽和数据存储读取操作。

我知道在一个常规的自我托管网站上，我会将robots.txt放在我的基本文件夹中，但是我究竟如何告诉漫游器不要在Google App Engine上抓取我的网站？如果这有区别，我正在运行python和jinja 2。

谢谢。

最佳答案

在您的app.yaml中执行此操作

- url: /robots.txt
  static_files: static/robots.txt
  upload: static/robots.txt

然后，只要您的项目中有static/robots.txt，您就可以进行了。

关于python - 阻止机器人抓取我的Google App Engine网站，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/27351841/