我已经这样设置了我的htaccess
SetEnvIfNoCase User-Agent .*google.* search_robot
SetEnvIfNoCase User-Agent .*yahoo.* search_robot
SetEnvIfNoCase User-Agent .*bot.* search_robot
SetEnvIfNoCase User-Agent .*ask.* search_robot
Order Deny,Allow
Deny from All
Allow from env=search_robot
我让这个机器人出现了:
IPv4 address:198.143.187.122
Reverse DNS:blexn3.webmeup.com
RIR:ARIN
Country:United States
RBL Status:Clear
Thread:No threats detected
这个机器人是谷歌使用的还是我遗漏了什么?
最佳答案
不,Blexbot不是谷歌。它属于一家叫WebMeup的公司。您可以找到about them here信息。
如果你在日志中查找ip,你会发现它不是google。
IP Address 198.143.187.122
Host blexn3.webmeup.com
Location US US, United States
City Chicago, IL 60661
Organization SingleHop
ISP SingleHop
谷歌IPS将把谷歌列为该组织。
谷歌使用自己的机器人,它们是定制的。您可以read up about them here,包括对您有用的用户代理字符串的最终列表。
要阻止,请按instructions here。
关于.htaccess - 是否使用了BLEXBot抓取工具? ,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/20434245/