每天 5~8 亿条同类型的数据,每条数据在 50+个字段(有部分没有,但是也填充成一样的字段了),求助各位 v 友,有没有什么好的数据库方案可以推荐?我好学习下
每天 5~8 亿条同类型的数据,每条数据在 50+个字段(有部分没有,但是也填充成一样的字段了),求助各位 v 友,有没有什么好的数据库方案可以推荐?我好学习下
|
misaka19000Dec 14, 2018
1
nosql
|
|
misaka19000Dec 14, 2018
2
可以用 ES
|
|
hyperdak288Dec 14, 2018 via Android
3
需求事务就 tidb
不需求就 es 还是看具体的也许类型 |
|
dapang1221Dec 14, 2018
4
“每天 5~8 亿条同类型的数据,每条数据在 50+个字段”……你这是想把日志存起来……?检索日志试下 EFK 吧,冷数据进磁带机……
|
|
5
没有事务需求,可以说是日志呢,ES 性能怎么样?抱歉,没有用过相关的。我查了下,是属于开源搜索与分析的软件,但存储方案呢?选什么数据库比较好?做集群的话,得多少台机器起步呀~
@hyperdak288 @dapang1221 |
|
jiang2018Dec 15, 2018 via Android
6
要做分析吗
|
|
jiang2018Dec 15, 2018 via Android
7
加微信 1259131780
|
|
jiang2018Dec 15, 2018 via Android
8
HANA 内存数据库了解下
|
|
FullBridgeRectDec 15, 2018 via Android
9
@JL1990 es 貌似可以存东西的
|
|
SsuchingYuDec 15, 2018 via Android
10
@jiang2018 #8 我总觉得不开源不好。
|
|
yanaraikaDec 15, 2018 via Android
11
如果里面有非结构化数据需要搜索 那就 es + mongodb,否则就 influxdb
|
|
12
日志存储对性能要求不高,对可扩展性要求高。用内存数据库不合适,看看 cassandra。
|
|
byteliDec 15, 2018 via Android
13
堵需求是怎么样的。如果读和后续分析不太复杂的话用 es 挺好,3 台 8 核 32g 是肯定够了的,甚至 16g 也能凑合,磁盘要大点,每天 8 亿不是很大其实
|