h175h32
V2EX  ›  站长

怎么才能把自动变换 user-agent 的爬虫拉黑呢

  •  
  •   h175h32 · Mar 3, 2025 · 3178 views
    This topic created in 628 days ago, the information mentioned may be changed or developed.

    现在有很多自动变换 user-agent 的爬虫,每次访问页面都会换一次 ua ,怎么才能把他们自动拉黑呢,这些爬虫把服务器带宽都占满了

    13 replies  •  2025-03-04 09:37:24 +08:00
    hubaq
    hubaq
    Mar 3, 2025
    1
    V2:上 CF
    Hookery
    Hookery
    Mar 3, 2025
    2
    这种情况找到对方可以走法律途径起诉。前提是能找到。
    deplives
    deplives
    Mar 3, 2025
    3
    换个思路,套一个 cf 吧
    h175h32
    h175h32
    OP
    Mar 3, 2025
    4
    @deplives 套 cf 晚上卡的飞起啊。
    blackeeper
    blackeeper
    Mar 3, 2025
    5
    ua 变化,IP 又不会变化,根据 IP 来做策略就可以了
    voidcomma
    voidcomma
    Mar 3, 2025
    6
    上 recapture (…
    h175h32
    h175h32
    OP
    Mar 3, 2025
    7
    @blackeeper 难就难在 怎么判断他是有多个 ua
    sslyxhz
    sslyxhz
    Mar 3, 2025
    8
    ip 策略,登录限制
    Lshl56B4vDqdixwK
    Lshl56B4vDqdixwK
    Mar 3, 2025
    9
    看看有什么特征吧,爬虫一般用的是 http 1.1 ,干脆把所有 http 1.1 除搜索引擎爬虫的请求全部验证码质询。
    herozzm
    herozzm
    Mar 4, 2025 via iPhone
    10
    ua 和 ip 都会变就无解,上验证码
    zeusho871
    zeusho871
    Mar 4, 2025
    11
    基于 tls 指纹可以拦截一部分,然后麻烦的需要用 ip 加行为风控
    Dragonish3600
    Dragonish3600
    Mar 4, 2025
    12
    直接屏蔽所有云厂商的 CIDR
    h175h32
    h175h32
    OP
    Mar 4, 2025
    13
    @ladypxy 你这个办法比较好 CIDR 不知道哪里有
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1796 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 46ms · UTC 10:48 · PVG 18:48 · LAX 02:48 · JFK 05:48
    ♥ Do have faith in what you're doing.