huangya
V2EX  ›  问与答

接近 1.8T 的含有大量小文件的数据备份方案

  •  
  •   huangya · Jan 10, 2023 · 2054 views
    This topic created in 1403 days ago, the information mentioned may be changed or developed.
    现在有个 2T 盘,接近有 1.8T 的数据,里面有大量小文件。现在想备份到一个 4T 的盘上去。因为是小文件,所以我倾向于直接使用 dd 命令克隆整个分区到 4T 。后续可能要使用工具或者命令增大这个分区。因为克隆上去,可能分区信息是 2T 盘的信息.将来使用 rsync 同步后面 2T 盘的数据变化。 但问题是现在 4T 的盘上也有接近1.5T 的数据。现在只能先把这 4T 盘里面的 1.5T 数据搬运到别处吗?等备份完 2T 盘里面的数据再搬回来吗?
    6 replies  •  2023-01-11 07:26:40 +08:00
    ZRS
    ZRS
    Jan 10, 2023 via iPhone
    1
    用 zfs send / recv
    novolunt
    novolunt
    Jan 10, 2023❤️1
    2
    小文件要用谷歌的 cdc-rsync 服务去同步,比 rsync 快很多
    https://github.com/google/cdc-file-transfer

    如果不在乎速度,还打算备份成一个压缩包,可以使用
    zstd -14 -T4 -r /opt -o a.zst
    如果是远程备份
    slave=1.1.1.1 #做好免密登陆
    zstd -14 -T0 -r /opt -c | ssh $slave "cat > pkg_file. tgz "
    57L49t45Jo9IJvge
    57L49t45Jo9IJvge
    Jan 10, 2023
    3
    这点数据 rsync 足以
    kokutou
    kokutou
    Jan 10, 2023 via Android
    4
    4t 分区缩小,搞个 2t 的出来再 dd 。。。

    不过有的分区格式缩小就炸了。。。
    huangya
    huangya
    OP
    Jan 10, 2023
    5
    @novolunt cdc-rsync 只支持 windows to linux. 我现在是 linux to linux. 或者 linux 本地 copy 也行(也就是把这款 4T 硬盘和 2T 硬盘连在同一台机器上)
    Showfom
    Showfom
    PRO
    Jan 11, 2023
    6
    @youzi0516 #3 rsync 1.5T 小文件,如果是机械硬盘的话,没个一两天基本搞不定
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2104 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 45ms · UTC 13:00 · PVG 21:00 · LAX 05:00 · JFK 08:00
    ♥ Do have faith in what you're doing.