azev
V2EX  ›  问与答

做爬虫 首先考虑用高并发?

  •  
  •   azev · Sep 21, 2022 · 2190 views
    This topic created in 1512 days ago, the information mentioned may be changed or developed.
    除非遇到限制才会搞延时仿真?
    高并发一般怎么个高法 同时发出去多少个请求呢?
    11 replies  •  2022-09-22 09:17:37 +08:00
    superrichman
    superrichman
    Sep 21, 2022 via Android❤️2
    1
    首先考虑刑法
    azev
    azev
    OP
    Sep 21, 2022
    2
    @superrichman 给你一个赞
    kera0a
    kera0a
    Sep 21, 2022
    3
    不是海量数据+海量代理 IP ,没必要考虑并发问题。
    我爬过的大站点都有频率限制,小站点扛不住并发,基本没条件去高并发爬。
    herozzm
    herozzm
    Sep 21, 2022
    4
    首先考虑的是 ip 库,爬虫很容易被封 ip 的
    picone
    picone
    Sep 21, 2022
    5
    看瓶颈在哪。如果爬取的数据没有时效性,慢慢爬就行了
    xiao109
    xiao109
    Sep 21, 2022
    6
    首先考虑可以爬,像 mvnrepository.com 这种站点你连第一步都展开不了
    gumupaier
    gumupaier
    Sep 21, 2022
    7
    首先考虑如何进去
    lyang
    lyang
    Sep 21, 2022
    8
    我看刑
    gezimonkey
    gezimonkey
    Sep 21, 2022
    9
    首先考虑不被抓
    IvanLi127
    IvanLi127
    Sep 21, 2022
    10
    首先考虑如何不影响对方业务,避免变成攻击行为。。。。
    abc0123xyz
    abc0123xyz
    Sep 22, 2022
    11
    考虑蹬缝纫机
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2338 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 40ms · UTC 11:32 · PVG 19:32 · LAX 03:32 · JFK 06:32
    ♥ Do have faith in what you're doing.