我以前队列是直接在内存里，程序停了又要重头开始。。。。
所以队列应该保存在数据库当中会好一点
This topic created in 4125 days ago, the information mentioned may be changed or developed.
 |
demoslamJul 24, 2015
1
看需求，正常爬虫存的数据库可以随便选。inverted index的存储可能要额外考虑其他的数据库
|
 |
2
leveldb rocksdb
|
2 |
shoumuJul 24, 2015
3
想用什么数据库就用什么数据库，等数据库性能遇到瓶颈了还能学学数据库的东西
|
 |
ComdexJul 24, 2015
4
redis/mongodb
|
 |
mcwandererJul 24, 2015
6
mongodb
|
 |
7
@mcwanderer
不说原因的都是耍流氓 |
 |
zjq426Jul 24, 2015
10
爬和解析分开，爬下来的rawdata直接存文件不好吗。。。
|
 |
bengtuoJul 24, 2015
11
直接存文件
|
Select Language