JL1990
0.5D
V2EX  ›  问与答

请教各位,这种海量数据的存储方案~

  •  
  •   JL1990 · Dec 14, 2018 · 3047 views
    This topic created in 2880 days ago, the information mentioned may be changed or developed.

    每天 5~8 亿条同类型的数据,每条数据在 50+个字段(有部分没有,但是也填充成一样的字段了),求助各位 v 友,有没有什么好的数据库方案可以推荐?我好学习下

    14 replies  •  2018-12-15 14:27:02 +08:00
    misaka19000
    misaka19000
    Dec 14, 2018
    1
    nosql
    misaka19000
    misaka19000
    Dec 14, 2018
    2
    可以用 ES
    hyperdak288
    hyperdak288
    Dec 14, 2018 via Android
    3
    需求事务就 tidb
    不需求就 es
    还是看具体的也许类型
    dapang1221
    dapang1221
    Dec 14, 2018
    4
    “每天 5~8 亿条同类型的数据,每条数据在 50+个字段”……你这是想把日志存起来……?检索日志试下 EFK 吧,冷数据进磁带机……
    JL1990
    JL1990
    OP
    Dec 14, 2018
    5
    没有事务需求,可以说是日志呢,ES 性能怎么样?抱歉,没有用过相关的。我查了下,是属于开源搜索与分析的软件,但存储方案呢?选什么数据库比较好?做集群的话,得多少台机器起步呀~
    @hyperdak288
    @dapang1221
    jiang2018
    jiang2018
    Dec 15, 2018 via Android
    6
    要做分析吗
    jiang2018
    jiang2018
    Dec 15, 2018 via Android
    7
    加微信 1259131780
    jiang2018
    jiang2018
    Dec 15, 2018 via Android
    8
    HANA 内存数据库了解下
    FullBridgeRect
    FullBridgeRect
    Dec 15, 2018 via Android
    9
    @JL1990 es 貌似可以存东西的
    SsuchingYu
    SsuchingYu
    Dec 15, 2018 via Android
    10
    @jiang2018 #8 我总觉得不开源不好。
    yanaraika
    yanaraika
    Dec 15, 2018 via Android
    11
    如果里面有非结构化数据需要搜索 那就 es + mongodb,否则就 influxdb
    yidinghe
    yidinghe
    PRO
    Dec 15, 2018 via Android
    12
    日志存储对性能要求不高,对可扩展性要求高。用内存数据库不合适,看看 cassandra。
    byteli
    byteli
    Dec 15, 2018 via Android
    13
    堵需求是怎么样的。如果读和后续分析不太复杂的话用 es 挺好,3 台 8 核 32g 是肯定够了的,甚至 16g 也能凑合,磁盘要大点,每天 8 亿不是很大其实
    JL1990
    JL1990
    OP
    Dec 15, 2018
    14
    没有很复杂的后续分析,目前考虑就用 ES 了,后续再考虑 4#说的 EFK 方案吧,感谢各位
    @byteli
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4254 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 40ms · UTC 05:39 · PVG 13:39 · LAX 21:39 · JFK 00:39
    ♥ Do have faith in what you're doing.