用爬虫爬了很多网页数据,按速度很快会几百 G 到几个 T 。
话说这些数据怎么存储和建站展示?对一个个人开发者来说性价比高?
本身不是做运维的,面对这数据了有点不知所措。。
目前数据库是 mongodb
话说这些数据怎么存储和建站展示?对一个个人开发者来说性价比高?
本身不是做运维的,面对这数据了有点不知所措。。
目前数据库是 mongodb
1
cuiqiangtj May 12, 2016
先看会有什么查询在考虑怎么存,
mongo 只要加好索引,查询速度还凑活,前提是你别有太诡异的查询 有些查询能虽然能实现,不过速度不敢保证. |