我自己做了一个分布式爬虫,但是我想知道我到底能到什么速度,有没什么办法可以离线测试抓取速度呢,比如:一秒钟可以下载完成多少个网页,不需要太精确,有个大概就行?
|
t6attackSep 3, 2017
1
网络环境是影响速度的重要因素。离线了还咋测试速度
|
|
linuxchildSep 3, 2017 via iPhone
2
监控网络速度吧,然后取均值
|
|
huangfsSep 3, 2017
3
日志能估算吧。
|
|
bazingaterrySep 3, 2017 via iPhone
4
自己写的爬虫,里面写一下统计有难度吗……
|
|
5
|
|
ericlsSep 3, 2017 via iPhone
6
既然是分布式 还是测试 scalability 吧
|
|
bazingaterrySep 3, 2017 via iPhone
7
@SlipStupig 看你需要的精度?大不了一个页面一行 log。
|
|
DevmingwangSep 3, 2017
8
爬吧,豆瓣网子域名,read01 等等等一大批网站都已经疯掉国外部分 IDC 访问了。。。。
|
|
nywwsbaSep 3, 2017
9
楼主现在用什么来跑爬虫呢? vultr 怎么样
|
|
jalenaSep 3, 2017
10
在执行前和执行结束写个时间,算一下不就好了么?多测试几次取个平均值就好了嘛
|