miniliuke
V2EX  ›  问与答

海量图片(文件)分布式储存方案选择

  •  
  •   miniliuke · Sep 14, 2019 via Android · 5364 views
    This topic created in 2606 days ago, the information mentioned may be changed or developed.

    现在有几十 T 图片数据,读多于写,该采用什么分布式方案? Mongodb 还是专业的分布式文件系统,比如阿里家的 TFS,用 mongo 的性能够么

    17 replies  •  2019-09-15 11:06:44 +08:00
    miniliuke
    miniliuke
    OP
    Sep 14, 2019 via Android
    1
    不需要对图片进行检索,只需要根据文件名读取或者保存就行了
    windfarer
    windfarer
    Sep 14, 2019
    2
    用阿里云的对象存储服务,自己不折腾
    miniliuke
    miniliuke
    OP
    Sep 14, 2019 via Android
    3
    @windfarer 在内网布啊
    dimlau
    dimlau
    Sep 14, 2019❤️1
    4
    minio ?
    miniliuke
    miniliuke
    OP
    Sep 14, 2019 via Android
    5
    @dimlau 好像不支持在线扩容,有点尴尬
    swulling
    swulling
    Sep 14, 2019 via iPhone
    6
    几十个 Tmongo 绰绰有余
    swulling
    swulling
    Sep 14, 2019 via iPhone
    7
    三台服务器,每台选 8*8T。三副本 mongo 正好。
    slixurd
    slixurd
    Sep 14, 2019
    8
    一个 S3 的场景怎么也不可能要用数据库来支持的....
    不要给自己埋坑...
    这在业界有主流方案,没必要用 MongoDB
    37Y37
    37Y37
    Sep 14, 2019
    9
    对象存储是最合适的
    XiaoxiaoPu
    XiaoxiaoPu
    Sep 14, 2019
    10
    Openstack Swift ?
    rrfeng
    rrfeng
    Sep 14, 2019 via Android
    11
    TFS 挺适合。不过没用过不知道生态环境技术支持啥的
    Reficul
    Reficul
    Sep 14, 2019 via Android
    12
    minio ?
    akira
    akira
    Sep 14, 2019
    13
    Mongodb 是拿来存数据的吧,存图片不大合适吧
    husinhu
    husinhu
    Sep 14, 2019 via Android
    14
    要数据库干啥 直接 azure storage 或者 aws/ali s3
    chinesestudio
    chinesestudio
    Sep 14, 2019 via Android
    15
    就这么点数据 ceph 就好了
    vZexc0m
    vZexc0m
    Sep 15, 2019 via Android
    16
    用 minio 吧,多上几块硬盘就完了。
    msg7086
    msg7086
    Sep 15, 2019
    17
    这么一丁点数据,ceph 也好 minio 也好,再不济直接 GlusterFS 干啊。

    其实吧,这么一丁点数据,好像单机就能跑了……
    你也没说请求数有多大。真的量大就上点 4TB 的 QLC,再稍微分一下文件命名空间,把文件分散存储就行了。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   5245 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 55ms · UTC 03:33 · PVG 11:33 · LAX 19:33 · JFK 22:33
    ♥ Do have faith in what you're doing.