如何快速释放 Scrapy 的 Request 的值？

>>> prefs()                                                                         
Live References                                                                     
                                                                                    
HtmlResponse                       15   oldest: 168s ago                             
MySuteSpider                        1   oldest: 7484s ago                           
Request                         11438   oldest: 7319s ago                           
Selector                           15   oldest: 168s ago

所有的项的值都会降低，但是 Request 这个项，值降低得慢，但是升高得快。所以我想问下，如何能够降低 Request 的值？谢谢

oldest

request

ago

降低

2 replies • 2017-06-29 10:09:18 +08:00

knightdf

Jun 28, 2017

我每天抓 1000 多 W 条跑了 1 年多了都没触发过 OOM，除了某个版本中代码错误引用导致过，所以这里问题很可能不是在 request 对象数量上，而在你代码中
不贴代码毫无意义

leavic

Jun 29, 2017

一般来讲，你代码中可能有非异步的东西阻塞了网络，更一般来讲，换条高速网络。