mactaew
V2EX  ›  问与答

面临大量文件迁移工作,烦请大家推荐工具软件

  •  
  •   mactaew · Sep 13, 2020 · 5535 views
    This topic created in 2244 days ago, the information mentioned may be changed or developed.

    随着工作年限增加,过去积累了很多工作文件,所以最近装了一台服务器跑 Esxi,让 Win10 (下称:vWin )和 NAS (下称:vNAS )系统运行在虚拟服务器上。

    计划如下:

    1. 将分散在本地的文件(大约有 2TB,存在大量几十 KB 的文稿或者表格一类的小文件)先全部拷贝到 vNAS 管理的数据盘上( RDM,容量为 3TB ),然后用 vWin 将这些散落的文件在统一的存储位置上按规则整理一遍;

    2. 完成整理后通过 vNAS 的同步工具将这些整理过后的文件同步全部到云端,作为归档库;

    3. 远期产生的结案工作,全部用统一的方式打包,然后传送到 vNAS 并自动同步到归档库中。

    那么,问题来了。

    在 “第 1 步” 会面临大量因为权限、报毒、文件损坏以及一些位置原因导致拷贝中止,但由于文件数量巨大,我自己都不知道那些文件拷贝失败了。

    所以希望向各位有经验的朋友们请教,是否有满足如下一项或者多项需求的工具软件可以推荐,收费或免费均可,for macOS 、for win 均可。

    感激不尽。

    主要需求:

    1. 有拷贝文件任务列表,拷贝出问题是跳过文件并保留错误记录;

    2. 支持拷贝到远程文件夹,例如 smb 、afp 、webdav 、ftp 等协议;

    3. 软件或系统异常关闭后,能保留再次恢复拷贝任务。

    以上,希望得到帮助,再次表示感激之情。

    推荐被采纳者,如有需要能力内愿意赠送 1 年 “世界很大,我想出去看看” 服务,以表感谢之情。

    29 replies  •  2020-09-13 22:08:55 +08:00
    MakeItGreat
    MakeItGreat
    Sep 13, 2020 via Android❤️1
    1
    我最近搞了一下这个东西
    我把小文件先挪到 Vhd 里面
    然后挪 Vhd
    完美!
    ebony0319
    ebony0319
    Sep 13, 2020 via Android❤️1
    2
    这种一般自己写一个程序就 ok 。如果不急我过两天旅游完回来后可以替你写。
    ybbswc
    ybbswc
    Sep 13, 2020❤️1
    3
    直接 ghost 全盘备份?
    delectate
    delectate
    Sep 13, 2020❤️1
    4
    freefilesync 即可。
    delectate
    delectate
    Sep 13, 2020
    5
    2020 年话有人提 ghost ?不是坏就是蠢。
    Jirajine
    Jirajine
    Sep 13, 2020 via Android❤️1
    6
    那就起个 linux live cd,linux 下不会报毒且无视 ntfs 权限,然后直接 rsync 拷走或者打个 tarball 。
    hakono
    hakono
    Sep 13, 2020 via Android
    7
    所以每次有人问大量小文件怎么存储的时候,总有人说规划好目录直接塞硬盘分区里,性能没问题,是真的没有管理过大量小文件的经历
    直接塞分区里,存储和读写是没问题,但是一旦想要迁移或者备份的时候,大量小文件直接塞硬盘分区里的行为将是一场噩梦
    Nadao
    Nadao
    Sep 13, 2020❤️1
    8
    关于没法 COPY 出来的文件,很简单,我一般就 MOVE 的方法。 剩下的就是没有复制的了。
    Mithril
    Mithril
    Sep 13, 2020❤️2
    9
    有个老东西叫 richcopy,一直用它复制大量文件。
    zhcnxyz
    zhcnxyz
    Sep 13, 2020❤️1
    10
    teracopy 是专门拷贝大量小文件的,轻量速度快
    IsA26hN4DcQDS7Z9
    IsA26hN4DcQDS7Z9
    Sep 13, 2020❤️1
    11
    第一步在 pe 下操作即可
    mactaew
    mactaew
    OP
    Sep 13, 2020
    12
    @delectate 可能是个人适用的场景不太一样啦,能解决问题都是办法嘛,哈哈哈
    ybbswc
    ybbswc
    Sep 13, 2020
    13
    @delectate #5 我是蠢,您多精啊。
    mactaew
    mactaew
    OP
    Sep 13, 2020
    14
    @hakono 是的,合理的存储规划和归档标准太重要了,毕业以来做过三个行业,所以各种类型的文件都有,整理起来贼痛苦。所以现在也是两条腿走路,新增数据全部遵循自己最新一版的文件管理规范存放,原有的数据逐步迁移整理,最后全部准备本地阵列+云冗余。
    mactaew
    mactaew
    OP
    Sep 13, 2020
    15
    @ybbswc Ghost 一定是有 Ghost 的应用场景的,毕竟这个主题也没有很详尽的场景描述。
    mactaew
    mactaew
    OP
    Sep 13, 2020
    16
    非常感谢推荐 FreeSyncFile,RichCopy,TeraCopy 的朋友,我试一试那一款更适合我的场景!先送上一份铜币感谢,感谢各位慷慨分享。
    Shook
    Shook
    Sep 13, 2020❤️1
    17
    我一般就是在 PE 里直接整盘复制
    mingl0280
    mingl0280
    Sep 13, 2020 via Android
    19
    rsync 或者 robocopy,全盘克隆用 clonezilla 。除了 robocopy 是 Windows 专用其他两个都支持 ssh/smb/ftp
    nobody123
    nobody123
    Sep 13, 2020
    20
    FastCopy 可以满足你的要求。
    jin7
    jin7
    Sep 13, 2020
    21
    beyond compare 比开源的好
    imn1
    imn1
    Sep 13, 2020
    22
    跨设备,ftp,时间充裕、不需要高速并发的话,就同步工具无人看守挺好的
    如果只是 win10 跨硬盘,FastCopy,记得去官网下载最新版 3.9,2.x 版能用,但感觉慢
    wtks1
    wtks1
    Sep 13, 2020 via Android
    23
    如果用 freesyncfile,可以捐赠一个最小金额,获取多线程的版本
    ccmingchao
    ccmingchao
    Sep 13, 2020 via Android
    24
    零碎的小文件,不管是谁家都比较慢。如果是基于归档的话。把小文件打成 ISO,以后用起来会稍微方便一点。
    xJogger
    xJogger
    Sep 13, 2020 via Android
    25
    可以试试 GoodSync,满足 1 和 2 。
    小文件多的话,可以在 gs 里设置并行拷贝,速度会快很多。
    gamexg
    gamexg
    Sep 13, 2020 via Android
    26
    rsync
    可以用 rsync 拷贝,也可以拷贝完用 rsync 核对一次。
    jianghu52
    jianghu52
    Sep 13, 2020
    27
    beyond compare 就算了.不用试了.那是个文件比较工具,对于这种迁移小文件的动作,支持的不是很好.而且也很慢.
    luvcrashbot
    luvcrashbot
    Sep 13, 2020
    28
    我以前用的 FasCopy 来跨硬盘传输数据。印象中好像是不支持网络直接传输的?如果合适的话楼主倒是可以试试。
    oubfgiar
    oubfgiar
    Sep 13, 2020 via iPhone
    29
    我用 fastcopy,可以把要复制的文件夹保存为文本列表,即使死机崩溃了也可以用列表恢复任务。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2721 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 68ms · UTC 13:17 · PVG 21:17 · LAX 05:17 · JFK 08:17
    ♥ Do have faith in what you're doing.