annoygaga
V2EX  ›  数据库

单机器(4C 或 2C)OLAP 数据库选型

  •  1
     
  •   annoygaga · Feb 13, 2025 · 3227 views
    This topic created in 631 days ago, the information mentioned may be changed or developed.

    目前每天的数据量其实不大,但是有比较复杂的 SQL 分析需求,希望走一个 OLAP 数据,目前用的 clickhouse ( 2C ,4GB ),但每时每刻都会有不少 mem 和 cpu 消耗,想问问类似情况下哪些数据库在这个场景比较好呢?

    16 replies  •  2025-03-12 16:11:52 +08:00
    lyt001
    lyt001
    Feb 13, 2025
    1
    单机的情况下 ck 算是最好的选择之一了吧,目前用 ck 有什么问题?
    annoygaga
    annoygaga
    OP
    Feb 13, 2025
    2
    @lyt001 其实就是每时每刻都会有不少 mem 和 cpu 消耗,以及维护成本,希望尽可能省事。毕竟不是大场景,吃了太多人力也不好
    lyt001
    lyt001
    Feb 13, 2025
    3
    追求更加轻量化的话据我所知 duckdb 可能可以满足你的要求
    annoygaga
    annoygaga
    OP
    Feb 13, 2025
    4
    @lyt001 duckdb 是进程内的,我希望可以单独一个服务,而且可以维护磁盘数据
    opengps
    opengps
    Feb 13, 2025
    5
    这种需要动态扫描的计算类脚本,cpu 和内存消耗免不了,通过选型能解决的问题并不多
    F281M6Dh8DXpD1g2
    F281M6Dh8DXpD1g2
    Feb 13, 2025
    6
    复杂的 sql 你用 clickhouse ?
    用 pg 完事
    spritecn
    spritecn
    Feb 13, 2025
    7
    ck 一个查询 CPU 跑满重启都不行,日志场景可以考虑 openobserve
    8355
    8355
    Feb 13, 2025
    8
    个人理解 clickhouse 应该单机最好
    云厂商一般是 1:4 你升成 4c 16G 试下看看

    我们目前买阿里云 8c 32g 也是单机最低配 单表在算超过 110 亿聚合
    annoygaga
    annoygaga
    OP
    Feb 13, 2025
    9
    @opengps 是的,所以希望看看方案
    annoygaga
    annoygaga
    OP
    Feb 13, 2025
    10
    @liprais 分析的需求,pg 这种点查比较擅长把
    annoygaga
    annoygaga
    OP
    Feb 13, 2025
    11
    @8355 2c 8G 可以考虑,4C 太贵了,这需求也不是很值钱
    jimyag
    jimyag
    Feb 13, 2025
    12
    duckdb 可以通过 EXPORT DATABASE 把数据导出,也可以通过 import 导入。

    duckdb 也有很多语言的驱动,用代码也能管理

    https://duckdb.org/docs/sql/statements/export
    https://duckdb.org/docs/clients/overview
    annoygaga
    annoygaga
    OP
    Feb 14, 2025
    13
    @jimyag 还是希望一个类似 clickhouse 的单独服务的东西
    zzmark06
    zzmark06
    Feb 17, 2025
    14
    那你就 clickhouse 呗,4c32g 能跑很多东西了。
    小内存建议缩缩参数,参考 altinty 的手册

    https://kb.altinity.com/altinity-kb-setup-and-maintenance/configure_clickhouse_for_low_mem_envs/
    linhrdom
    linhrdom
    Mar 12, 2025
    15
    ETL 的过程用的什么? Spark ?想再组合一个 clickhouse
    linhrdom
    linhrdom
    Mar 12, 2025
    16
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1914 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 44ms · UTC 07:44 · PVG 15:44 · LAX 23:44 · JFK 02:44
    ♥ Do have faith in what you're doing.