入职笔试时基于 python 撸了个爬虫,闲来无事准备去改改。
那么问题来了,如何优化去提升两个档次?
- framework
- performance
- code style
- ...
入职笔试时基于 python 撸了个爬虫,闲来无事准备去改改。
那么问题来了,如何优化去提升两个档次?
|
sunchenMar 7, 2016
1
入职笔试写爬虫,一猜就是创宇。
|
|
helloworldwtMar 8, 2016
3
爬虫需要使用代理,这样你 ip 被封时,减少对程序的影响
|
|
flamhaze5946Mar 8, 2016 via Android
4
好吧。。是爬美女网站吗。。。当初被拒了(ฅ>ω<*ฅ)
|
|
5
|
|
CrazySpiderManMar 8, 2016
6
是我的话, 我直接换 Node.js 了. Python 搞爬虫, 麻烦的很.
|
|
CrazySpiderManMar 8, 2016
7
@CrazySpiderMan 这里有个我用 Node.js 写个 P2P 网络的爬虫. https://github.com/Fuck-You-GFW/p2pspider
|
|
l6751902Mar 8, 2016
8
黑 V2EX 后台,上传爬虫远程管理工具,然后把爬虫实际执行的逻辑嵌入前端.........
|
|
sampengMar 8, 2016
9
加 2 倍机器。。绝对提升两个档次
|
|
penjianfengMar 8, 2016
11
这还不简单,先把性能降 2 倍,然后在切换回来,绝对提升两个档次,哈哈哈
|
|
12
@penjianfeng
这要是被领导知道,还不等着去财务处领工资? |