我对Yandex，百度和MJ12bot占用了我的全部带宽感到非常厌倦。他们甚至都不在乎无用的robots.txt文件。
我还想阻止其中带有“ spider”一词的任何用户代理。
我一直在.htaccess文件中使用以下代码查看用户代理字符串并以这种方式阻止它们，但看来它们仍然可以通过。此代码正确吗？有没有更好的办法？
BrowserMatchNoCase "baidu" bots
BrowserMatchNoCase "yandex" bots
BrowserMatchNoCase "spider" bots
BrowserMatchNoCase "mj12bot" bots
Order Allow,Deny
Allow from ALL
Deny from env=bots
最佳答案
要阻止用户代理，您可以使用：
SetEnvIfNoCase User-agent (yandex|baidu|foobar) not-allowed=1
Order Allow,Deny
Allow from ALL
Deny from env=not-allowed