raynix
V2EX  ›  Grafana

最近我安装了 Loki + Promtail + Grafana,感觉这一组合可以取代 Elasticsearch + Logstash

  •  
  •   raynix · Nov 12, 2021 · 5131 views
    This topic created in 1819 days ago, the information mentioned may be changed or developed.
    而且对资源需求很低

    Helm 链接: https://github.com/grafana/helm-charts/tree/main/charts/loki-stack
    我的 ArgoCD 配置笔记: https://raynix.info/archives/4103
    16 replies  •  2021-11-14 06:25:49 +08:00
    tcpdump
    tcpdump
    Nov 12, 2021 via Android
    1
    Loki 绝对坑,玩具级
    cheng6563
    cheng6563
    Nov 12, 2021
    2
    用 Loki 还不如吧日志存 SQL 数据库
    GM
    GM
    Nov 12, 2021
    3
    @tcpdump 怎么个坑法?官方开发商他们自己也在用的
    StarUDream
    StarUDream
    Nov 12, 2021
    4
    Loki 的搜索和 es 比起来真的不够看,之前也在用 Loki ,后面还是转向 ELK 了。
    tcpdump
    tcpdump
    Nov 12, 2021
    5
    @GM 自己数据量小玩玩可以,没有全文索引,快的前提是建立好 label 。旧数据无法重建 label 。没有冗余机制,全靠存储介质做冗余。不能 scroll 拉取数据,如果要拉大量数据就是渣渣。可以理解为给你 10TB 的硬盘,开几十个 grep 进程去检索数据的玩具。
    defunct9
    defunct9
    Nov 12, 2021
    6
    @tcpdump 非反驳贴。loki 可以用 GFS 的 PV 做存储,GFS 做条带化。我们应用场景非常怪异,无论 ELK 或者 Loki 都做不到准实时,研发要求基本等同 tail -f , 搞得我们头大。
    Rwing
    Rwing
    Nov 12, 2021
    7
    loki 确实感觉有点玩具,或者也可能是我不会用
    Rwing
    Rwing
    Nov 12, 2021
    8
    但是 ELK 也确实太耗资源
    raynix
    raynix
    OP
    Nov 12, 2021
    9
    @defunct9 这么高要求,难道是股票交易?
    defunct9
    defunct9
    Nov 12, 2021
    10
    @raynix 也不是,就是研发的事多。用了 ELK 和 LOKI 都不行,还有一家厂商是用 Clickhouse 的,也不行,最后还真的是 tail -f 了
    raynix
    raynix
    OP
    Nov 12, 2021
    11
    我上手 loki 的主要原因
    - 轻量级,开销小
    - LogQL 非常类似 PromQL
    raynix
    raynix
    OP
    Nov 12, 2021
    12
    @defunct9 tail -f 怎么搜索和制图呢
    defunct9
    defunct9
    Nov 12, 2021
    13
    @raynix 哈,搜索就是 grep ,不需要制图。仔细解释一下,研发上线的时候必须实时仔细观察日志输出,来判断程序是否正常。经常有上去不对,然后再下来重新打包发版的时候。而四大行审计要求研发只能有 view ,而不能有执行权限。这就麻烦了,系统中是有 ELK 的,准实时,研发都不认可;所以试用了 loki 、clickhouse 一溜够,都不满足。最后得亏程序没有部署在用户的 /home 目录下,就建立同组的用户,只有 view 权限,而上线管理员有执行权限,这样解决的。国内的事情都很复杂,各种堡垒机,数审设备。
    raynix
    raynix
    OP
    Nov 12, 2021
    14
    @defunct9 我这只是个人实验,loki 比 tail 也最多慢 2 秒而已。你那差很多么?
    defunct9
    defunct9
    Nov 13, 2021
    15
    @raynix 研发的要求是实时,有家是用 clickhouse 的,3 秒。loki 基本是 2 秒
    raynix
    raynix
    OP
    Nov 14, 2021
    16
    @defunct9 硬需求,赞
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2619 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 14:08 · PVG 22:08 · LAX 06:08 · JFK 09:08
    ♥ Do have faith in what you're doing.