近一段时间时不时有流氓爬虫,垃圾评论机器人到我的网站,导致资源占用率极高。
有没有什么方案可以自动屏蔽这些东西?
我原来是是发现一个,屏蔽一个。这实在太麻烦了,我现在直接block了2家廉价主机商的所有ip,中国一个省的ip,一个东欧国家的ip。
有没有什么方案可以自动屏蔽这些东西?
我原来是是发现一个,屏蔽一个。这实在太麻烦了,我现在直接block了2家廉价主机商的所有ip,中国一个省的ip,一个东欧国家的ip。
|
1
那些好的爬虫还会在agent声明自己的spider或者bot,屏蔽掉就是
有些无良爬虫直接写Mozlia/5.0 更无良的直接伪造一个标准的用户访问的agnet,根本没得破。 |
|
2
遇到 UA 伪造的话你可以通过分析 log 来找,一般他们的访问操作不会像正常的用户
|
|
3
自己写个程序分析流量,凡是流量异常的ip一律封掉24小时。
|
|
codingppJun 9, 2014
4
我就是流氓爬虫,你破不了我的
|
|
5
又block了一家主机商,整个世界清静了。。。
目前block了online.net,datashack/WSI,hetzner |
|
imn1Jun 9, 2014
6
能封掉的爬虫都不算流氓
|
|
dong3580Jun 9, 2014 via Android
7
直接伪造成浏览器,各种该有的都有,你要怎么屏蔽?
|
|
8
计算访问频率,输出个reCAPTCHA验证码吧
|
|
humiaozuzuJun 9, 2014
9
@webflier 主机商ip段如何获得的呢?
|
|
10
0.0 前段时间爬慧慧,表明是机器人.但自动的会限制访问频率.直接换成adsl,自动断线重连换IP.这也没法破哈..
|
|
11
|
|
12
我用的是incapsula服务,CDN,然后就没有垃圾评论了。他们有专门应付垃圾爬虫的设置。
|
|
LelouchcrJun 9, 2014
13
限制频率,多个ua,n个匿名代理,你破不了的~
|
|
14
|
|
hanchengluoJun 10, 2014
16
|