Distributions
› Ubuntu
› Fedora
› CentOS
中文资源站
› 网易开源镜像站
huangsijun17
V2EX  ›  Linux

[求助] 在百万到千万级个文件中查找最大的几个。

  •  
  •   huangsijun17 · Sep 4, 2024 · 3691 views
    This topic created in 807 days ago, the information mentioned may be changed or developed.

    现有一个 Linux ,安装有 minio ,存储在 XFS 文件系统下。我现在想找到某个 minio 存储路径下的若干子文件里最大的是哪几个文件? 文件总数未知,单个文件大小约为 1M~10M 级,初步估算的文件数量约为百万到千万级个。 find 后 sort 排序是基本不可能的了,我该怎么操作?

    12 replies  •  2024-09-12 08:08:35 +08:00
    devopsdogdog
    devopsdogdog
    Sep 4, 2024 via Android
    1
    😂你就不能记录下来然后再去排序,或者多次分割后取数?
    hello2090
    hello2090
    Sep 4, 2024
    2
    TopK 优先级队列 线性复杂度
    R4rvZ6agNVWr56V0
    R4rvZ6agNVWr56V0
    Sep 4, 2024
    3
    使用 Python 的 os.walk() 函数和 yield 生成器递归遍历吧,写个简易统计程序。
    ArmsZ
    ArmsZ
    Sep 4, 2024
    4
    程序员代码面试指南(第 2 版)值得你一看
    NoOneNoBody
    NoOneNoBody
    Sep 4, 2024
    5
    除非你之前有安装一些记录文件位置的工具(类似 windows everything ),不然总要实时搜磁盘
    如果之前有安装定位工具,且有记录文件信息如字节数等,那参考该工具的手册,这样搜数据库比搜磁盘快

    python pandas 排序应该也很快,因为只有路径和字节数两个字段,只是前面递归获取全部路径比较慢
    总的来说,瓶颈在于是实时搜磁盘,还是从定位工具搜数据库
    MoYi123
    MoYi123
    Sep 4, 2024❤️1
    6
    find + sort 为什么不行, 这不是最简单的办法吗?
    ZZ74
    ZZ74
    Sep 4, 2024
    7
    @MoYi123 文件数量太多了。

    用 python 之类的写个程序 top k 就好了
    me1onsoda
    me1onsoda
    Sep 4, 2024
    8
    能把每个文件大小都记录下来就简单了,搞个大顶堆
    doraemonki
    doraemonki
    Sep 4, 2024 via Android
    9
    帮你把代码写好了 golang ,https://codecopy.cn/post/ez6qqh
    sn0wdr1am
    sn0wdr1am
    Sep 10, 2024
    10
    记录到数据库,查询数据库。
    kokerkov
    kokerkov
    Sep 11, 2024
    11
    有 GUI 吗? filelight
    webs
    webs
    Sep 12, 2024
    12
    你 find 时,带个文件最小大小的参数,数据量不就小很多了嘛,再 sort 一下,整个过程也就耗时 6s 以内,
    https://infras.cn
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   3405 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 57ms · UTC 04:05 · PVG 12:05 · LAX 20:05 · JFK 23:05
    ♥ Do have faith in what you're doing.