scrapy 爬虫小问题 目标站限制速度怎么办？
最高只能跑到 5M 左右。
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 3458 days ago, the information mentioned may be changed or developed.
 |
bigdogbigpigMay 22, 2017 via iPhone
1
多 IP
|
 |
2
|
|
bigdogbigpigMay 22, 2017 via iPhone
3
@xiaoyu9527 至于多 IP 怎么做就看需要了
|
 |
BiggerLongerMay 22, 2017
4
scrapy 有限制速度選項
|
 |
justfunMay 22, 2017
5
分布式
|
 |
jiezhiMay 22, 2017
6
爬人家东西也不要把人家资源全部占用掉呀
|
 |
PythoneerDev6May 22, 2017
7
多 IP 分布式。 其次 Scrapy 提供了每个线程的时间控制。
|
 |
QQ2171775959May 22, 2017
8
你把人家的网站资源占满了的话，人家没有封你就算不错了。
|
 |
XrongMay 22, 2017
9
人家带宽就那么大，能怎么办？爬慢点。。。
|
 |
af463419014May 22, 2017
10
你把人家带宽全占了,搞得人家还以为网站被攻击了呢
|
 |
whileFalseMay 22, 2017
11
没准人家出口带宽就只有 5M。
|
 |
ytmsdyMay 22, 2017 via iPhone
12
爬慢一点！爬虫其实是个寄生虫，宿主死了，寄生虫就死了！
|
 |
13
IP 代理池。不过还是建议不要太快了，拿人家东西就不要给人造成太大负担，做个有公德的 spider
|
1 |
killervMay 22, 2017
14
做个不让人讨厌的 spider
|
 |
dd99iiiMay 28, 2017 via iPhone
15
别人限速大概还是有原因的
|
Select Language