想把境外的公共数据集(一般几百 G 一批)下载搬运到网盘上(比如百度网盘),搞了个海外的不限流量的 VPS,下载到 VPS 上再上传网盘,但是感觉这样有点亏硬盘空间(也探索过 alist 这样的方案)。有没有流式传输的方法,尽量减少对硬盘的占用。
|
TrackBack2 days ago
1
ramdisk?
|
|
qilme2 days ago
2
流式传输,那不就是梯子吗
|
|
osilinka2 days ago
3
直接 huggingface 下载?
|
|
UnluckyNinja1 day ago
4
这么大文件放网盘,那你一定有网盘会员吧,那直接离线下载不就好了,最多搭个反代,记得做下验证就行
|
|
5
传到对象存储,开全球加速,国内下载
|
|
aimuz1 day ago
6
百度网盘有离线下载,在 VPS 弄一个 Nginx 反代。
前提是你的 VPS 的网络不错。不然国内直接下载境外的公共数据集没啥区别 |
|
9
@mytsing520 这样费用是不是很高呀
|
|
10
@UnluckyNinja 对的,百度网盘有会员,目前有 14T
|
|
13
用完就删除就行了
|
|
14
@mytsing520 测试下来真不错👍。实实在在做到了数据不落硬盘。
|