› MySQL 5.5 Community Server
› MySQL 5.6 Community Server
› Percona Configuration Wizard
› XtraBackup 搭建主从复制
Great Sites on MySQL
› Percona
› MySQL Performance Blog
› Severalnines
推荐管理工具
› Sequel Pro
› phpMyAdmin
推荐书目
› MySQL Cookbook
MySQL 相关项目
› MariaDB
› Drizzle
参考文档
› http://mysql-python.sourceforge.net/MySQLdb.html
MartinWu
0D
V2EX  ›  MySQL

如何根据所有的业务 sql,来解析出业务 sql 的模版?

  •  
  •   MartinWu ·
    Martwu · Dec 24, 2020 · 4879 views
    This topic created in 2148 days ago, the information mentioned may be changed or developed.
    当前有这么一个需求,mysql 上记录了所有的慢查询,我想根据此慢查询日志文件,来总结出若干个业务 sql 的模版,相当于腾讯云的 mysql 提供的 sql 模版,那样的功能。
    Supplement 1  ·  Dec 25, 2020
    经过大家引导,我确认了下,我想要的功能就是 pt-query-digest 里提供的一部分功能了。我先看看其他开源的替代。
    15 replies  •  2023-01-29 17:19:48 +08:00
    MartinWu
    MartinWu
    OP
    Dec 24, 2020
    1
    xi 像这样的。
    MartinWu
    MartinWu
    OP
    Dec 24, 2020
    2
    我找了一些 python 的模块,发现并不能很好的解析到所有的 sql 语句,对,甚至无法正确解析。我想的是,找到那么一个库,能准确分析出 sql 中的所有元素,这样我也好去汇总。
    qiayue
    qiayue
    Dec 24, 2020
    3
    看起来是把 = 之后的数值改成问号
    MartinWu
    MartinWu
    OP
    Dec 24, 2020
    4
    @qiayue 大概是如此,但也不尽如此,还有例如 in,也需要去掉值汇总,也有例如联表查询 tablea.key = tableb.key 时,两个都不可以省略。
    YouLMAO
    YouLMAO
    Dec 24, 2020
    5
    惊, 你们 sql 是裸写的, 居然不封装函数的, 封装了有啥模板必要性
    CoderGeek
    CoderGeek
    Dec 24, 2020
    6
    可变参数全改成?嘛 没写过 py 现成的导入 slow 文件的工具有的 mysql 自带把 前 100 ?
    MartinWu
    MartinWu
    OP
    Dec 24, 2020
    7
    @YouLMAO #5 我们还有业务是拼 SQL 的骚操作。。。。
    MartinWu
    MartinWu
    OP
    Dec 24, 2020
    8
    @CoderGeek #6 请问下是哪个工具?
    opengps
    opengps
    Dec 24, 2020
    9
    这种工具得花点精力找找,着色的容易,很多富文本都支持,格式化的也不算难,但是同时支持格式化着色的,似乎没见过成品
    loading
    loading
    Dec 24, 2020 via Android
    10
    应该从业务流程重新抽象出模板,万一 sql 压根就绕了弯路,你再怎么整都没意义。
    ETiV
    ETiV
    Dec 25, 2020 via iPhone
    11
    https://v2ex.com/t/738704
    LZ 你可以把你的这个问题 丢给这个帖子的 LZ😂
    给他一个学习的目标、动力
    MartinWu
    MartinWu
    OP
    Dec 25, 2020
    12
    @ETiV #11 你这是机智。。。。
    zczy
    zczy
    Dec 25, 2020
    13
    直接用 calcite 解析试试呢,解析成 SqlNode
    joApioVVx4M4X6Rf
    joApioVVx4M4X6Rf
    Jan 27, 2023
    14
    楼主这个问题你解决了吗?最近遇到了类似的问题,搜索到了这个帖子
    MartinWu
    MartinWu
    OP
    Jan 29, 2023
    15
    @v2exblog 我最后是用 Percona Monitoring and Management
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   921 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 49ms · UTC 20:32 · PVG 04:32 · LAX 12:32 · JFK 15:32
    ♥ Do have faith in what you're doing.