› MySQL 5.5 Community Server
› MySQL 5.6 Community Server
› Percona Configuration Wizard
› XtraBackup 搭建主从复制
Great Sites on MySQL
› Percona
› MySQL Performance Blog
› Severalnines
推荐管理工具
› Sequel Pro
› phpMyAdmin
推荐书目
› MySQL Cookbook
MySQL 相关项目
› MariaDB
› Drizzle
参考文档
› http://mysql-python.sourceforge.net/MySQLdb.html
zealinux
V2EX  ›  MySQL

MySQL 怎么快速全量同步到新的数据库中?

  •  
  •   zealinux · Oct 18, 2019 · 9948 views
    This topic created in 2581 days ago, the information mentioned may be changed or developed.

    现在使用传统的方式来将一个 DB 同步到另一个新的 DB 中,

    导出:mysqldump,
    导入:mysql source <sql_file>
    

    由于 DB 比较大( 30GB ),无论导出,还是导入,都相当慢。

    有没有其他更好的方式来做这个工作?


    不同的云平台的 RDS,MySQL 5.7

    18 replies  •  2019-10-22 10:21:10 +08:00
    airfling
    airfling
    Oct 18, 2019
    1
    物理 copy 到移动硬盘,然后转移到新的机器上
    airfling
    airfling
    Oct 18, 2019
    2
    30g 你只能找服务商了
    rykinia
    rykinia
    Oct 18, 2019
    3
    30g 而已,dump 下来压缩下,用一晚拖下来,再用一晚传到新服务器上
    ADME
    ADME
    Oct 18, 2019
    4
    用工具直接同步过去呗,不过 30g 不知道能不能行
    ys521
    ys521
    Oct 18, 2019
    5
    我都是物理操作 捂脸
    xmlf
    xmlf
    Oct 18, 2019 via Android
    6
    同问,楼主是问快速同步::
    PainSwim
    PainSwim
    Oct 18, 2019
    7
    我司是使用 Kettle 工具的。方便,效率还行,同步差不多有每秒 1000 条数据。
    yzongyue
    yzongyue
    Oct 18, 2019
    8
    用云平台提供的数据迁移工具? 不知道速度如何
    clearCode0915
    clearCode0915
    Oct 18, 2019
    9
    不知道 Percona Toolkit 能不能满足你的需求
    Myth666
    Myth666
    Oct 18, 2019
    10
    rsync 把这个文件夹同步到 新的机器上去
    zealinux
    zealinux
    OP
    Oct 18, 2019
    11
    @PainSwim
    你 Kettle 是不是可以能跑在无 GUI 的 server 上,
    如果启动 Kettle 在本地开发机器上的话,估计会更慢的吧。

    ---
    我 Mac 上还没有启动成功过 Kettle 这个传说过的 ETL 工具。
    reddean666
    reddean666
    Oct 18, 2019
    12
    写程序导? 按时间或 id 将数据分割成小块,再分治?
    zealinux
    zealinux
    OP
    Oct 18, 2019
    13
    @Myth666 云平台上 RDS 是不会让你访问到真正的文件夹的。
    dcsite
    dcsite
    Oct 18, 2019
    14
    阿里云 RDS 数据迁移,全自动,省心
    neko77
    neko77
    Oct 18, 2019
    15
    阿里云 dts 服务 或者 datax 自己撸配置文件
    ackermanHu
    ackermanHu
    Oct 18, 2019
    16
    datax
    CivAx
    CivAx
    Oct 18, 2019
    17
    * 先用 innobackupex 全量打包

    * 然后再用 innobackupex 全量恢复
    我们 71 GB 的数据,打包后约 12 GB。下载备份 6 分钟,解包 10 分钟,回拷 16 分钟,半小时左右数据库恢复完。

    如果你是阿里云的 RDS,那就直接下载备份包。

    如果不是的话,那就先下载到 RDS 所在的云服务商的内网的服务器,然后再用 lz4 配 tar 光速拉下来,带宽直接跑满。
    mattx
    mattx
    Oct 22, 2019
    18
    如果 mysql 版本相同的话,可以用 xtrabackup 进行物理备份
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   921 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 46ms · UTC 20:32 · PVG 04:32 · LAX 12:32 · JFK 15:32
    ♥ Do have faith in what you're doing.