notgoda
V2EX  ›  问与答

V 友们, 求推荐文件去重工具

  •  
  •   notgoda · Jan 5, 2022 via iPhone · 1557 views
    This topic created in 1770 days ago, the information mentioned may be changed or developed.

    多个不同的文件夹 有几万个 .eml 文件需要去重,需要通过除文件名以外的去重,因为文件名相同可能还是不一样的文件。 谢谢大家, 平台不限

    4 replies  •  2022-01-05 15:20:50 +08:00
    0o0O0o0O0o
    0o0O0o0O0o
    Jan 5, 2022 via iPhone❤️1
    1
    find . -type f -name '*.eml' -exec md5sum {} \; | sort | awk 'BEGIN{lasthash = ""} $1 == lasthash {print $2} {lasthash = $1}' | xargs rm
    sunnyadamm
    sunnyadamm
    Jan 5, 2022
    2
    Duplicate Cleaner Pro
    notgoda
    notgoda
    OP
    Jan 5, 2022 via iPhone
    3
    @0o0O0o0O0o
    @sunnyadamm 谢谢两位。 用 MD5 去重就可以吗?还是必须 MD5+SHA? 谢谢
    sunnyadamm
    sunnyadamm
    Jan 5, 2022
    4
    @notgoda 都可以啊,我一般就 md5
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4533 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 38ms · UTC 01:31 · PVG 09:31 · LAX 17:31 · JFK 20:31
    ♥ Do have faith in what you're doing.