屏蔽国外蜘蛛爬行，这个robots该怎么写呢？

比如hostloc的robots是这样的

1. #
2. # robots.txt for Discuz! X3
3. #
5. User-agent: *
6. Disallow: /api/
7. Disallow: /data/
8. Disallow: /source/
9. Disallow: /install/
10. Disallow: /template/
11. Disallow: /config/
12. Disallow: /uc_client/
13. Disallow: /uc_server/
14. Disallow: /static/
15. Disallow: /admin.php
16. Disallow: /search.php
17. Disallow: /member.php
18. Disallow: /api.php
19. Disallow: /misc.php
20. Disallow: /connect.php
21. Disallow: /forum.php?mod=redirect*
22. Disallow: /forum.php?mod=post*
23. Disallow: /home.php?mod=spacecp*
24. Disallow: /userapp.php?mod=app&*
25. Disallow: /*?mod=misc*
26. Disallow: /*?mod=attachment*
27. Disallow: /*mobile=yes*

复制代码

—————————————————–

需要屏蔽 MJ12bot 与  YandexBot   这些爬的网站都跑不动了。  

求帮助~~

湖南网友:

1. #
2. # robots.txt for Discuz! X3 P Inc.
3. #
5. User-agent: *
6. Disallow: /api/
7. Disallow: /data/
8. Disallow: /source/
9. Disallow: /install/
10. Disallow: /template/
11. Disallow: /config/
12. Disallow: /uc_client/
13. Disallow: /uc_server/
14. Disallow: /static/
15. Disallow: /admin.php
16. Disallow: /search.php
17. Disallow: /member.php
18. Disallow: /api.php
19. Disallow: /abc*/
20. Disallow: /misc.php
21. Disallow: /connect.php
22. Disallow: /forum.php?mod=redirect*
23. Disallow: /forum.php?mod=post*
24. Disallow: /home.php?mod=spacecp*
25. Disallow: /userapp.php?mod=app&*
26. Disallow: /*?mod=misc*
27. Disallow: /*?mod=attachment*
28. Disallow: /*mobile=yes*
29. User-agent: AhrefsBot
30. Disallow: /
31. User-agent: AhrefsBot/6.1
32. Disallow: /
33. User-agent: BLEXBot
34. Disallow: /
35. User-agent: BLEXBot/1.0
36. Disallow: /
37. User-agent: CheckMarkNetwork
38. Disallow: /
39. User-agent: CCBot
40. Disallow: /
41. User-agent: DotBot
42. Disallow: /
43. User-agent: DoCoMo Spider
44. Disallow: /
45. User-agent: Ezooms/1.0
46. Disallow: /
47. User-agent: Mail.RU_Bot
48. Disallow: /
49. User-agent: MauiBot
50. Disallow: /
51. User-agent: MegaIndex.ru
52. Disallow: /
53. User-agent: MJ12bot
54. Disallow: /
55. User-agent: MJ12bot/v1.4.8
56. Disallow: /
57. User-agent: SemrushBot
58. Disallow: /
59. User-agent: SemrushBot/6~bl
60. Disallow: /
61. User-agent: spbot
62. Disallow: /
63. User-agent: SeznamBot
64. Disallow: /
65. User-agent: YandexBot
66. Disallow: /
67. User-agent: EasouSpider
68. Disallow: /

复制代码
======================
宝塔双11活动预热  组队抢nginx防火墙
28元半年专业版 http://t.cn/Ai34aQbZ
香港网友:谢谢大佬，头像很赞
黑龙江网友:几只蜘蛛都能把网站爬的跑不动，这得是什么样的配置啊！
江苏网友:个人小博客，一核心
安徽网友:我用nginx屏蔽
上海网友:我感觉应该用robots不允许它，然后在拉黑这些蜘蛛的ip段
四川网友:我跟你说 他们并不一定遵守这个 还需要屏蔽他的IP段最好 用xx.xx.xx.0/24 这几家的蜘蛛IP就IP并不多。
贵州网友:robots就行了 又不是国产的百度
天津网友:
已执行此命令  
吉林网友:
已执行此命令  
湖南网友:你要的是这个，直接UA屏蔽

https://www.yunloc.com/763.html

上海网友:这还用屏蔽。。。。
本来就没几个串门的
另外就跟前面大佬说的一样，几个蜘蛛网站就卡，配置得多差