› MySQL 5.5 Community Server
› MySQL 5.6 Community Server
› Percona Configuration Wizard
› XtraBackup 搭建主从复制
Great Sites on MySQL
› Percona
› MySQL Performance Blog
› Severalnines
推荐管理工具
› Sequel Pro
› phpMyAdmin
推荐书目
› MySQL Cookbook
MySQL 相关项目
› MariaDB
› Drizzle
参考文档
› http://mysql-python.sourceforge.net/MySQLdb.html
sujin190
V2EX  ›  MySQL

请教下 mysql 大量数据每日备份问题

  •  
  •   sujin190 ·
    snower · Oct 12, 2016 · 7193 views
    This topic created in 3675 days ago, the information mentioned may be changed or developed.
    一般大量数据,比如数百 g 都是怎么做每日备份的呢? Xtrabackup 导出有点搞不动啊,需要的时间太久了,又一直占着磁盘 io ,压力太大了
    Supplement 1  ·  Oct 13, 2016
    其实我还是比较好奇更大的公司,比如百度阿里他们的数据应该更多吧,他们做不做离线备份呢?又是怎么做的呢?
    18 replies  •  2019-09-20 17:22:48 +08:00
    TaMud
    TaMud
    Oct 12, 2016
    1
    一天产生几百 g 数据?
    那你可以做个主从服务,从服备份
    Infernalzero
    Infernalzero
    Oct 12, 2016
    2
    直接 mysqldump 或者设延时库,单纯的主从备份没用的,你 master 删了 slave 也删了啊
    liyj144
    liyj144
    Oct 12, 2016
    3
    1. 拆库拆表,多进程(按库)备份。 500G 的数据,普通磁盘几个小时就备份完了。 2. 磁盘上 SSD 会更快,备份完也可以快速跟主库同步。更何况备份是在备机上的, io 高一些影响也不大。
    kanchi240
    kanchi240
    Oct 12, 2016
    4
    Xtrabackup 不是支持增量备份的吗。。“ Xtrabackup 导出有点搞不动”是什么意思?
    pc10201
    pc10201
    Oct 12, 2016
    5
    主从同步,用从库备份,一般是周备,但保留并备份最近 7 天的日志
    ElmerZhang
    ElmerZhang
    Oct 12, 2016
    6
    专门有个不提供线上服务的从库做备份。
    最简单粗暴的备份方法:停实例, rsync 走。
    如果不要求保留每天的备份,可以直接搞个延时从库。
    guyskk
    guyskk
    Oct 12, 2016 via Android
    7
    数据放到 LVM 磁盘上,通过磁盘快照做备份。也许可行。
    msg7086
    msg7086
    Oct 13, 2016
    8
    主从,随便拿了个 SSD-cached VPS 做的,一个月几欧元的样子。
    sujin190
    sujin190
    OP
    Oct 13, 2016
    9
    @pc10201 binlog 日志么?
    sujin190
    sujin190
    OP
    Oct 13, 2016
    10
    @ElmerZhang 大量数据 rsync 快还是 copy 快,同一台机器上的两块磁盘
    sujin190
    sujin190
    OP
    Oct 13, 2016
    11
    @guyskk 这是一个方法不过得停服务吧
    guyskk
    guyskk
    Oct 13, 2016 via Android
    12
    @sujin190 扇贝网是这么做的,之前看过他们发的一篇文章上说了。 V 站上能搜到。
    noahzh
    noahzh
    Oct 13, 2016
    13
    一个专用备份从库,每天用 mysqldump 备份,然后 lz4 压缩,同时也备份 master binlog
    zqcolor
    zqcolor
    Oct 13, 2016
    14
    主从服务,从服备份, 同时也备份 master binlog

    +1
    ElmerZhang
    ElmerZhang
    Oct 14, 2016
    15
    @sujin190 增量的话 rsync 快,全量的话 cp 快。
    还有一个方案是备库跑在 lvm 卷上,直接打快照
    ElmerZhang
    ElmerZhang
    Oct 14, 2016
    16
    五年前我还调研过一个叫 NILFS 的日志型文件系统,当时还不成熟,现在不知道发展怎么样了,楼主可以看一下。
    yghack
    yghack
    Oct 14, 2016
    17
    分库分表
    主从 + 从库只读 + 从库备份
    顺便拆分 binlog
    备份 binlog
    Legendzhan
    Legendzhan
    Sep 20, 2019
    18
    按表备份到响应的库中,前提是表不要搞的太大
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   3009 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 44ms · UTC 11:03 · PVG 19:03 · LAX 03:03 · JFK 06:03
    ♥ Do have faith in what you're doing.