在小规格 ecs 上部署了爬虫，想要同步数据到本地但是出带宽只有 1MB （学生优惠机）速度很慢，我在想如果我买多台这样的学生机（ 10 元每月比起带宽费用便宜多了），然后并发从多台小规格机器上拉取数据，不就可以达到更高的带宽下载了吗？多台学生机通过内网传输，拆分大文件为多个分片，然后我本地再并发从多台机器同时拉取多个分片再进行组装，这样的功能有现成的工具可以实现吗？
This topic created in 2216 days ago, the information mentioned may be changed or developed.
 |
ackolyOct 9, 2020 via iPhone
1
切割成多个文件，分布在多个目录，nfs 挂载多台机子，然后用 rsync 同步就可以
|
 |
opengpsOct 9, 2020
2
如果不介意费用问题，可以先把文件内网传到 oss，然后走 oss 的公网流量（付费）下载
|
|
3
你买多台学生机，需要分布在多个帐号下，内网并没有直接打通，所以这条路并不太好走，绕的太远了
|
1
 |
RheinmetalOct 9, 2020
5
搞个海外 vps 试试？ 说不定爬国内资源反而快
其实数据不多的话 oss 也不贵 |
 |
bowser1701Oct 9, 2020 via iPhone
6
@opengps 学生机内网可以云企业网。
|
 |
7
|
 |
swullingOct 9, 2020 via iPhone
8
BT 做种下载就行，
|
|
9
10 台学生机也就 100/月，10M 带宽的单机费用。。。
|
 |
aheadleadOct 9, 2020
10
@Inn0Vat10n #7 你也不说多少数据量…… 如果只有百来 G，妥妥的 OSS 快啊
|
 |
wjhjd163Oct 9, 2020 via Android
11
学生机不能多开
要多开得多账号 不同账号内网不通 只能走公网 |
 |
supermoonieOct 9, 2020 via iPhone
12
oss 不用想了
|
|
13
@aheadlead 10GB/天左右
|
|
14
|
Select Language