这是一个好主意吗？？
滥用爬行是什么意思？这对我的网站有什么影响？
最佳答案
并不真地。无论如何，大多数“坏机器人”都会忽略 robots.txt 文件。
滥用爬行通常意味着抓取。这些机器人的出现是为了收集电子邮件地址或更常见的内容。
至于你怎么能阻止他们？这真的很棘手，而且往往不明智。反爬行技术有不完美的倾向，会给普通人带来问题。
可悲的是，就像零售业的“缩水”一样，这是在网络上开展业务的成本。
关于seo - 阻止滥用机器人爬行？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/7045705/