Home Sign Up Sign In
qw7692336
V2EX  ›  问与答

有没有合理的算法可以动态调整爬虫的线程数量？

  •   
  •   qw7692336 · Aug 2, 2015 · 1932 views
    This topic created in 4032 days ago, the information mentioned may be changed or developed.
  • 爬虫
  • 动态
  • 合理
    3 replies  •  2015-08-02 11:40:15 +08:00
    ryd994
        1
    ryd994  
       Aug 2, 2015 via Android
    spawn新线程前检查资源占用情况，占满则不动
    kslr
        2
    kslr  
       Aug 2, 2015
    为了什么要动态调整爬虫线程？ 先了解需求再说。
    qw7692336
        3
    qw7692336  
    OP
       Aug 2, 2015 via Android
    @kslr
    纯粹想最大化资源利用率
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1017 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 23:23 · PVG 07:23 · LAX 16:23 · JFK 19:23
    ♥ Do have faith in what you're doing.