Bingbot每天都会在几个小时内对我的网站造成严重影响，而在其余时间中，Bingbot会非常轻松。
我要么想消除它的爬网，降低它的速率限制，要么完全阻止它。它实际上并没有通过任何实际访客发送。
有什么方法可以平滑其爬网或对其进行速率限制吗？
最佳答案
他们的webmaster blog说，他们支持在您的robots.txt文件中添加一个crawl-delay参数来限制bingbot。
User-agent: msnbot
Crawl-delay: 1
webmaster FAQ PDF中有更多解释
这些其他链接也可能会有所帮助：
http://www.bing.com/toolbox/webmasters
http://www.bing.com/community/webmaster/f/12252/t/651373.aspx
关于web-crawler - 如何防止Bing流量不规则地淹没我的网站？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/4928601/