现在有很多自动变换 user-agent 的爬虫,每次访问页面都会换一次 ua ,怎么才能把他们自动拉黑呢,这些爬虫把服务器带宽都占满了
现在有很多自动变换 user-agent 的爬虫,每次访问页面都会换一次 ua ,怎么才能把他们自动拉黑呢,这些爬虫把服务器带宽都占满了
|
hubaqMar 3, 2025
1
V2:上 CF
|
|
HookeryMar 3, 2025
2
这种情况找到对方可以走法律途径起诉。前提是能找到。
|
|
deplivesMar 3, 2025
3
换个思路,套一个 cf 吧
|
|
blackeeperMar 3, 2025
5
ua 变化,IP 又不会变化,根据 IP 来做策略就可以了
|
|
voidcommaMar 3, 2025
6
上 recapture (…
|
|
7
@blackeeper 难就难在 怎么判断他是有多个 ua
|
|
sslyxhzMar 3, 2025
8
ip 策略,登录限制
|
|
Lshl56B4vDqdixwKMar 3, 2025
9
看看有什么特征吧,爬虫一般用的是 http 1.1 ,干脆把所有 http 1.1 除搜索引擎爬虫的请求全部验证码质询。
|
|
herozzmMar 4, 2025 via iPhone
10
ua 和 ip 都会变就无解,上验证码
|
|
zeusho871Mar 4, 2025
11
基于 tls 指纹可以拦截一部分,然后麻烦的需要用 ip 加行为风控
|
|
Dragonish3600Mar 4, 2025
12
直接屏蔽所有云厂商的 CIDR
|