我有一个在线工具，可以跟踪任务和用户完成任务。作为过程的一部分，我记录了 $_SERVER['HTTP_USER_AGENT'] 。但是，偶尔我会收到来自各种机器人和爬虫的访问。我如何在不“伤害他们的感情”的情况下轻轻地将他们重定向到其他地方？
我想我会用 bot 名称构建一个数组，并针对它运行每个 AGENT 信息，如果在数组中找到，则重定向。
有更好的方法吗？
最佳答案
如果尚未完成，您可以使用 robots.txt 文件摆脱大多数爬虫。 See here. 然而，这并没有被严格遵守。那些继续爬行的人可能会被IP禁止。您可以使用 iptables 在 Linux 上执行此操作。例子:
iptables -A INPUT -s IP-ADDRESS -j DROP
关于php - 重定向爬虫，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/8863215/