我现在有一个脚本，它通过访问一个url，然后从某个网站上抓取数据。我唯一担心的是，由于大约有30000个页面需要清理，服务器可能会将其视为DDoS攻击？除此之外，我被推荐使用泰菲乌斯宝石红宝石，以完成他们基本上同时。所以我想知道这是否可以？
最佳答案
DDoS攻击不能由一台计算机执行，因为DDoS意味着分布式拒绝服务。因此，在最坏的情况下，它可以被识别为DoS攻击，除非使用大量线程执行页调用，否则这种攻击是不可能发生的。
对于默认配置的apache来说，bot使用的单个线程甚至都不是问题，因为我认为每个主机的连接数限制为10。通过使用一个线程，你只能建立一个接一个的连接，这样你就永远无法达到一个主机的限制。默认情况下，普通浏览器在接收HTML文件后，可以通过下载网页的资源来建立更多的连接。总而言之：从web服务器管理员的角度看，您似乎不是攻击者。