有没有办法阻止网络爬虫抓取和缓存我的面向公众的web应用程序网站？
最佳答案
您可以使用Robots.txt：
User-agent: *
Disallow: /
但它不是100%可靠的，不是所有的爬虫都会尊重这一点。
从我最近学到的，唯一100%可靠的方法是使你的所有网页安全。
关于html - 防止bot/crawler爬网和缓存html页面，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/4202715/
但它不是100%可靠的，不是所有的爬虫都会尊重这一点。
从我最近学到的，唯一100%可靠的方法是使你的所有网页安全。