• 请不要在回答技术问题时复制粘贴 AI 生成的内容
nbsn
V2EX  ›  程序员

小公司,想做一个日志分析的程序,带 Web 前端的,求方案推荐

  •  
  •   nbsn · Apr 25, 2021 · 4713 views
    This topic created in 2036 days ago, the information mentioned may be changed or developed.
    请问下各位 V 友,我们小公司目前有个小需求,是对日志文件的按需处理。需求和模块如下。请问下有没有合适解决方案呢?求支招。谢谢!

    日志文件处理:

    需求:
    数据源:第三方程序生成明文的,固定格式的日志,定时以 ftp 方式吐到 ftp 服务器上的文件夹;

    日志处理:
    日志数据文件,按时间段自动打包压缩;

    数据库:
    根据日志数据文件收到的内容,全额写入数据库;
    数据库定时备份;

    Web 前端:
    设定统计条件,读取数据库,生成统计图,表格;
    日志延时处理;

    后端:
    通过 LDAP 连接 AD,定时遍历 AD 用户内容,维护日志映射表,web 前端统计调用;

    审计模块:
    操作日志的记录;

    通知模块:
    设定通知条件,达到条件后自动触发通知;
    大量日志告警通知功能;
    18 replies  •  2021-04-26 12:21:13 +08:00
    lhx2008
    lhx2008
    Apr 25, 2021
    1
    数据不多推到云上呗。。省事
    nbsn
    nbsn
    OP
    Apr 25, 2021
    2
    @lhx2008 云上有合适的处理的引擎吗?比如归类,按照大小排序,将结果写入数据库等?
    lhx2008
    lhx2008
    Apr 25, 2021
    3
    @nbsn #2 腾讯云的 CLS 我用过的 OK,可以自己整大盘和图、告警,你要在自己执行查询应该也有接口
    BeautifulSoap
    BeautifulSoap
    Apr 25, 2021 via Android
    4
    不是做成产品,是拿来公司内部用?
    那直接上 ELK 啊,你的需求都能满足
    cominghome
    cominghome
    Apr 25, 2021❤️1
    5
    Grafana + Elasticsearch 不香吗?
    tianyuan233
    tianyuan233
    Apr 25, 2021
    6
    kibana
    chawuchiren
    chawuchiren
    Apr 25, 2021
    7
    @lhx2008 腾讯云的 CLS,你们怎么处理的分词?
    RRRoger
    RRRoger
    Apr 25, 2021
    8
    elk
    varrily
    varrily
    Apr 25, 2021
    9
    阿里 日志服务
    nbsn
    nbsn
    OP
    Apr 25, 2021
    10
    @BeautifulSoap 谢谢推荐,看来这个不错
    37Y37
    37Y37
    Apr 25, 2021❤️1
    11
    推荐 ELK,画图这块可以看 Grafana 看能不能满足,不行的话自己写也可以,ES 有 API
    我们实现的一些思路,可以参考 https://blog.ops-coffee.cn/elk
    ychost
    ychost
    Apr 25, 2021
    12
    推荐 ELK + Telegraf + Grafana
    nbsn
    nbsn
    OP
    Apr 25, 2021
    13
    @37Y37 Grafana 做前端,汉化有压力。有部分业务面向客户的。
    pkupyx
    pkupyx
    Apr 25, 2021
    14
    上云,然后买买买
    zzzmh
    zzzmh
    Apr 25, 2021
    15
    @lhx2008 学到了,cls 好像挺好的适合我,我之前是自己用 java 写,各种麻烦还不完美各种小问题,cls 正好适合我的需求,价格也能接受
    nbsn
    nbsn
    OP
    Apr 25, 2021
    16
    @37Y37 请问下可以提供下技术支持吗?有¥
    drinkjs
    drinkjs
    Apr 26, 2021
    17
    前端数据可视化可以看下 Mojito
    shynome
    shynome
    Apr 26, 2021 via Android
    18
    @nbsn 找个人做 grafana 做汉化不行吗?既完成了业务也造福了大家
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   965 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 38ms · UTC 19:37 · PVG 03:37 · LAX 11:37 · JFK 14:37
    ♥ Do have faith in what you're doing.