我第一次接手一个比较大型的爬虫任务，要爬取一个千万级别的网站，所以要用到scrapy+redis多线程，分布式抓取，服务器配置等等，想找一个有这种经验的人讨教。我明白时间宝贵，所以愿意出钱作为学费，而且只需您辅助我的工作过程，给予一些指导。
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 4267 days ago, the information mentioned may be changed or developed.
 |
mhycyFeb 26, 2015
1
爬的是哪个站？有多少资源可用？
|
 |
iannilFeb 26, 2015
2
可以参考我这个回复 http://v2ex.com/t/127220#reply5
|
 |
laotaitaiFeb 27, 2015
3
直接外包给我吧. 不过哈, 一般情况下, 少于5W的项目我不接. 哥是专业的玩爬虫的. 我写过爬取全世界60%左右连了网的电脑, 一共收集了3亿的资源的. 对, 你没看错, 就是爬你们的电脑, 不是爬网站.
|
 |
fisingFeb 27, 2015
6
3楼吹牛逼不打草稿
|
 |
mrhuiyuFeb 27, 2015
7
@laotaitai 话说···爬电脑？首先不礼貌的冒问一下···今天不是愚人节？额·····好吧那请问····假设电脑关机和非管理员用户登录电脑后无法访问指点盘符，那爬虫可以进去访问？
|
 |
jedyuFeb 27, 2015
8
3楼是爬IP吧？
|
 |
mozutabaFeb 27, 2015
9
3楼是爬ip的开放服务？
|
 |
joshryoFeb 27, 2015
10
3楼太谦虚了，居然还有40%连了网的电脑没爬。
|
 |
xidianlzFeb 27, 2015
11
3楼说的是扫描比较好吧 不算爬虫
|
 |
xFanFeb 27, 2015
12
3楼歪楼以后没人理楼主了...
你们赶紧正回来,. |
 |
angerskonFeb 27, 2015
13
3楼说的3亿的资源是指的3亿台电脑吗？照你说的60%来算，也就是说全球5亿左右的计算机联网。ipv4的地址一共42亿左右，除掉一些保留的，怎么也不止5亿吧。
|
 |
thinkmoreFeb 27, 2015
14
3楼就是来骗回复的
|
 |
crazycookieFeb 27, 2015
15
楼上都被 3楼带歪了
其实有偿指导也是一件 比较 bug的事情 这种分布式我在做，确实 scrapy + redis 可以完成这些 我用linode跑的国外的站，4台服务器，还算稳定 |
 |
binuxFeb 27, 2015 via Android
16
千万级别不算大型啊。。。
|
 |
lucnFeb 27, 2015
17
scrapy开发成本高，pyspider半小时搞定
|
 |
gouwudangFeb 27, 2015
18
楼主可以来我司工作，每天得爬上亿条数据
|
 |
cxl008Feb 27, 2015
20
scrapy+mongodb+redis 的方案 分布40台机器。。 爬取国内200多个安卓市场。。。。。。。。数据量到1亿左右。。没有3楼那么牛逼了。。。。
|
 |
CodeDriftFeb 27, 2015
22
突然感觉3L在360上班。。。
|
 |
mengskysamaFeb 27, 2015
24
之前我用了一台快到期的独服，24G内存，开了15台，特意申请了255个IP。
爬的是last.XX，用了近二十多天爬了将近1忆的专辑信息（几亿歌曲信息。 自己写的主从架构，只用了mysql，好像也没遇到什么瓶颈。 个人感觉爬其实挺好爬的。如果源没有限制特别死或者太坑爹反爬虫策略的话  |
 |
nineFeb 27, 2015
25
pyspider吧，很好用。。
|
 |
31
|
 |
2dogFeb 27, 2015
33
@laotaitai 邮件沟通吧 [email protected]
|
 |
interFeb 27, 2015
34
千万算个球大型。我们这一台服务器上的一个爬虫实例，一天就是上千万的请求。
其实还能更高，但是现在提不上去的原因是一个实例就把对方一台服务器的下行吃满了。我们还得想着怎么帮对方提高吞吐量，对方cdn配置有问题的时候还得帮他们做同步. python真是弱啊，上亿的就几十台服务器了。我们这一台单核1g机器，跑两个实例。 1亿请求，200多个站点，这就是台好点的服务器的事情 |
 |
Yannis1990Feb 27, 2015
35
一直想知道 “千万级” 的网站是什么意思？
千万个页面？ |
|
37
@Yannis1990 嗯 千万个条目
|
|
38
@cxl008 www.66ip.cn/zz.html 估计都是扫出来的，无辜的网民
|
1 |
mikangchanFeb 27, 2015
39
想求教下怎么精确控制内容...
数据量不大，不过图片较多，而且要精确控制一部分文字内容 |
 |
lonelygoFeb 27, 2015
41
我是来看3楼歪楼的
|
 |
flyingkidFeb 28, 2015
42
3L如果是写DHT爬虫的话我还是相信的。
|
|
43
@inter 你们不是用的python?用的啥？
|
 |
linkupmylifeMar 1, 2015
45
我也玩过爬虫，爬完全是HTML，再用HTM转TXT之后放到EXCEL里筛选，非常麻烦。
|
Select Language