我让 Apache 和 Modsecurity 一起工作。我试图通过请求的 header (如“facebookexternalhit”)来限制命中率。然后返回友好的“429 Too Many Requests”和“Retry-After: 3”。

我知道我可以读取标题文件,例如:
SecRule REQUEST_HEADERS:User-Agent "@pmFromFile ratelimit-bots.txt"
但是我在建立规则时遇到了麻烦。

任何帮助将非常感激。谢谢你。

最佳答案

经过 2 天的研究和理解 Modsecurity 的工作原理,我终于做到了。仅供引用,我正在使用 Apache 2.4.37 和 Modsecurity 2.9.2 这就是我所做的:

在我的自定义文件规则中:/etc/modsecurity/modsecurity_custom.conf 我添加了以下规则:

# Limit client hits by user agent
SecRule REQUEST_HEADERS:User-Agent "@pm facebookexternalhit" \
    "id:400009,phase:2,nolog,pass,setvar:global.ratelimit_facebookexternalhit=+1,expirevar:global.ratelimit_facebookexternalhit=3"
SecRule GLOBAL:RATELIMIT_FACEBOOKEXTERNALHIT "@gt 1" \
    "chain,id:4000010,phase:2,pause:300,deny,status:429,setenv:RATELIMITED,log,msg:'RATELIMITED BOT'"
    SecRule REQUEST_HEADERS:User-Agent "@pm facebookexternalhit"
Header always set Retry-After "3" env=RATELIMITED
ErrorDocument 429 "Too Many Requests"

解释:

注意:我想每 3 秒限制为 1 个请求。
  • 第一条规则将请求 header 用户代理与“facebookexternalhit”相匹配。如果匹配成功,它会在 全局 集合中创建 ratelimit_facebookexternalhit 属性,初始值为 1 (它会随着每次匹配用户代理的命中增加该值)。然后,它将此 var 的到期时间设置为 3 秒。如果我们收到与“facebookexternalhit”匹配的新命中,它会将 1 与 ratelimit_facebookexternalhit 相加。如果我们在 3 秒后没有收到匹配“facebookexternalhit”的命中, ratelimit_facebookexternalhit 将消失,这个过程将重新启动。
  • 如果 global.ratelimit_clients > 1(我们在 3 秒内收到 2 个或更多点击)并且用户代理匹配“facebookexternalhit”(这个 AND 条件很重要,否则如果产生匹配,所有请求都将被拒绝),我们设置 RATELIMITED=1 ,以 429 http 错误停止操作,并在 Apache 错误日志中记录一条自定义消息:“RATELIMITED BOT”。
  • RATELIMITED=1 设置只是为了添加自定义标题“Retry-After: 3”。在这种情况下,此变量由 Facebook 的爬虫 (facebookexternalhit) 解释,并将在指定的时间重试操作。
  • 我们为 429 错误映射了一个自定义返回消息(以防万一)。

  • 您可以通过添加 @pmf 和一个 .data 文件来改进此规则,然后像 initcol:global=%{MATCHED_VAR} 一样初始化全局集合,这样您就不仅限于按规则进行单个匹配。我没有测试这最后一步(这是我现在需要的)。如果我这样做,我会更新我的答案。

    更新 :

    我已经修改了规则,以便能够拥有一个包含我想要限制速率的所有用户代理的文件,因此可以在多个机器人/爬虫中使用单个规则:

    # Limit client hits by user agent
    SecRule REQUEST_HEADERS:User-Agent "@pmf data/ratelimit-clients.data" \
        "id:100008,phase:2,nolog,pass,setuid:%{tx.ua_hash},setvar:user.ratelimit_client=+1,expirevar:user.ratelimit_client=3"
    
    SecRule USER:RATELIMIT_CLIENT "@gt 1" \
        "chain,id:1000009,phase:2,deny,status:429,setenv:RATELIMITED,log,msg:'RATELIMITED BOT'"
        SecRule REQUEST_HEADERS:User-Agent "@pmf data/ratelimit-clients.data"
    
    Header always set Retry-After "3" env=RATELIMITED
    
    ErrorDocument 429 "Too Many Requests"
    

    因此,带有用户代理的文件(每行一个)位于此规则同一目录下的子目录中: /etc/modsecurity/data/ratelimit-clients.data 。然后我们使用@pmf 来读取和解析文件( https://github.com/SpiderLabs/ModSecurity/wiki/Reference-Manual-(v2.x)#pmfromfile )。我们使用用户代理初始化 USER 集合: setuid:%{tx.ua_hash} ( tx.ua_hash /usr/share/modsecurity-crs/modsecurity_crs_10_setup.conf 的全局范围内)。我们只是使用 用户 作为集合而不是 全局 。就这样!

    关于apache - Modsecurity & Apache : How to limit access rate by header?,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/53620557/

    10-14 08:28