例如一个爬虫，获取信息的平均速度是 4条/秒，信息存入数据库。我想问的是，这个数据库连接一直保持开着好，还是频繁开关好？
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 4283 days ago, the information mentioned may be changed or developed.
Supplement 1 · Feb 15, 2015
-bash: fork: retry: Resource temporarily unavailable
-bash: fork: retry: Resource temporarily unavailable
-bash: fork: retry: Resource temporarily unavailable
-bash: fork: retry: Resource temporarily unavailable
-bash: fork: Resource temporarily unavailable
这是什么情况，VPS(do最低配) 上装了个 mongodb，跑个爬虫，less 一个 log 文件成这样了……
-bash: fork: retry: Resource temporarily unavailable
-bash: fork: retry: Resource temporarily unavailable
-bash: fork: retry: Resource temporarily unavailable
-bash: fork: Resource temporarily unavailable
这是什么情况，VPS(do最低配) 上装了个 mongodb，跑个爬虫，less 一个 log 文件成这样了……
 |
SR1Feb 15, 2015
1
其实，这种问题，写个脚本测一下就知道了。
|
 |
yangffFeb 15, 2015
2
反正瓶颈是带宽..
|
 |
lujiajing1126Feb 15, 2015
3
。。4条每秒。。没必要考虑这么多。。
|
 |
wanjunFeb 15, 2015
4
当然大了，要不然就不会用连接池了
|
 |
omegagaFeb 15, 2015 via Android
5
有一種東西叫連接池…
|
 |
6
@lujiajing1126 没见过世面孩子伤不起……
|
 |
loadingFeb 15, 2015 via Android
7
优化 sql 语句和数据结构效果更显著些，这个问题请交给连接池，或用 sqlalchemy 等帮你搞定（能吗）
|
 |
9hillsFeb 15, 2015 via iPad
8
每秒4次基本感觉不到性能损失
|
 |
john737Feb 15, 2015
9
内存不够了，估计最低配的用mongo有点吃力，或者爬虫还有优化的空间
|
 |
fisingFeb 15, 2015 via iPhone
10
保持连接和每次断开的差异非常大。楼主可以试试写1W纪录看看时间差
|
 |
clinoFeb 15, 2015 via Android
11
积累多一些然后用事务模式批量写入效率更高
|
 |
msg7086Feb 16, 2015 via iPhone
12
我们论坛每秒100请求以上，每次都开新连接，压力不大。
|
 |
minFeb 16, 2015 via iPhone
13
开销很大
但在你这个超低负载下感觉不到 |
 |
14
呵呵哒。瓶颈是带宽。
|
3 |
aruFeb 16, 2015
15
512M 内存跑mongodb + 爬虫，必须萌萌哒
换个大内存vps 舒服很多 |
 |
toleriousMar 2, 2015 via iPhone
16
目测512M内存做爬虫吃不消，程序要吃一部分，数据库要吃一部分，爬数据量大了，512肯定挡不住的
|
Select Language