这个爬虫是为阿里巴巴的 sm.cn 服务的吧？
这里有在做神马搜索的同学么，你们家爬虫是否支持 CrawlRate 呢？
我试着在 Google 里搜了一下 YisouSpider CrawlRate，只能找到我自己现在发的这个主题。
这里有在做神马搜索的同学么，你们家爬虫是否支持 CrawlRate 呢？
我试着在 Google 里搜了一下 YisouSpider CrawlRate，只能找到我自己现在发的这个主题。
This topic created in 4347 days ago, the information mentioned may be changed or developed.
 |
1
|
|
2
统计了一下日志，现在 YisouSpider 基本上在用每秒 5 次并发的频率在爬 V2EX 上的所有主题。
|
|
3
为了给 V2EX 节约一些资源，下面这些 IP 只能先封 1 个月了：
42.156.138.78 42.156.137.78 42.120.160.108 42.156.139.78 42.120.161.108 42.156.137.108 42.156.138.108 42.120.160.78 42.156.139.108 42.156.136.108 42.156.136.83 42.156.137.83 42.156.138.83 42.156.139.83 42.120.160.83 42.120.161.83 |
|
4
盛况如此：
 |
 |
zjgoodDec 10, 2014 via Android
5
L大不优化，蜘蛛都这么钟爱V站
|
 |
xinpleDec 10, 2014
6
是的，昨天我也遇到了，小站扛不住啊
|
 |
mackenDec 10, 2014
7
直接用nginx把这个spider给干掉
|
 |
mikuazusaDec 10, 2014
8
|
 |
kofjDec 10, 2014
10
sm.cn蜘蛛很疯狂的。open.sm.cn注册进去让人感觉很无语。。。。
|
Select Language