fangshouyibo777

如何将 S3 上 1TB 的压缩文件下载到本地?

  •  
  •   fangshouyibo777 · Aug 24, 2023 · 4848 views
    This topic created in 1174 days ago, the information mentioned may be changed or developed.
    我尝试了下,下载速度在 1MB/s ,这个速度下要好几天,还不能断点续传...
    17 replies  •  2023-08-25 10:44:50 +08:00
    qweruiop
    qweruiop
    Aug 24, 2023
    1
    你配置个 cloudfront ,然后多线程下,会快很多。
    richangfan
    richangfan
    Aug 24, 2023
    2
    找个网盘中转
    Kinnice
    Kinnice
    Aug 24, 2023
    3
    换个好一点的梯子
    tmtstudio
    tmtstudio
    Aug 24, 2023
    4
    用鹅厂的对象存储,文档里有 linux 的上传命令,上传到存储桶再下载
    lidongyx
    lidongyx
    Aug 24, 2023
    5
    可以用 aws 的 cli 工具,这个是支持并行下载的;也可以用 S3 Transfer Acceleration 的服务
    lidongyx
    lidongyx
    Aug 24, 2023
    6
    一般的 FTP 工具也都有断点续传的功能吧,你肯定不能用 HTTP 这种方式来下载啊
    Maboroshii
    Maboroshii
    Aug 24, 2023 via Android
    8
    让他们拷出来快递给你。。。
    nuII
    nuII
    Aug 24, 2023
    9
    用 awscli 来下,配置 token 就行,和 scp 用法差不多,aws s3 cp s3://xxx ./
    vfs
    vfs
    Aug 24, 2023
    10
    s3 协议层面是支持断点续传的,而且也可以多线程下载。这种需求多吗? 多的话,个人可以快速写一个:)
    qwerthhusn
    qwerthhusn
    Aug 24, 2023
    11
    用迅雷就行
    先 presign 一个时间长一点的带签名的下载链接,然后交给迅雷就行了
    oxromantic
    oxromantic
    Aug 24, 2023
    12
    不差钱的话地址发出来,让大伙帮你迅雷加速 [Doge]
    dann73580
    dann73580
    Aug 24, 2023
    13
    配个 rclone ,开个多线程拉就完事了……
    2MO
    2MO
    Aug 25, 2023
    15
    https://www.multcloud.com/cn/
    之前我用的方案,用他们的服务转存到百度云,也试过开阿里的服务器按量使用挂载 webdav 转存到阿里云盘
    clouddd
    clouddd
    Aug 25, 2023 via iPhone
    16
    我去年也有类似需求,需要将 eu-west-1 上的 1T 多数据库备份下载到本地,隔离酒店的网络慢到不行。最后是用了阿里云的欧洲节点先拉完 S3 ,再转到阿里云杭州节点,什么加速之类的全开满,最后再下载,一阵折腾最后花掉差不多人民币 7-800 ,耗时两三天🥹
    lff0305
    lff0305
    Aug 25, 2023
    17
    开个 EC2 ,mount S3 到 EC2 的文件, 然后办法就多了
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2963 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 45ms · UTC 10:21 · PVG 18:21 · LAX 02:21 · JFK 05:21
    ♥ Do have faith in what you're doing.