baskice
V2EX  ›  问与答

如何反制内容采集器?

  •  
  •   baskice · Jun 30, 2015 · 3090 views
    This topic created in 4156 days ago, the information mentioned may be changed or developed.
    老被人爬,火大啊
    17 replies  •  2015-06-30 19:54:29 +08:00
    em70
    em70
    Jun 30, 2015
    1
    监控日志,单位时间内超过一定量自动封IP 24小时
    lk09364
    lk09364
    Jun 30, 2015
    2
    Septembers
    Septembers
    Jun 30, 2015 via Android
    3
    如果不是面向大众的话
    可以专有化(专有客户端 专有设备 专有网络 等等)
    (可控因素越多就越能达到你的目的
    dong3580
    dong3580
    Jun 30, 2015
    4
    @em70
    你封了一堆长宽用户可以不用上来了,
    cst4you
    cst4you
    Jun 30, 2015
    5
    关站
    neo2015
    neo2015
    Jun 30, 2015
    6
    我有一招,迄今为止还没有人能采集到我的内容。哪怕是他去手动复制都不可以。。。



    此招就是:不建网站
    dangge
    dangge
    Jun 30, 2015
    7
    DZ有个插件,在正文后面随机加随机字符,白色的,正常浏览看不到。
    run2
    run2
    Jun 30, 2015
    8
    这样对搜索的bot也不友好了吧
    em70
    em70
    Jun 30, 2015 via Android
    9
    你分析日志嘛,爬虫只抓页面,不抓CSS,JS吧,把这种IP可以分析出来封掉
    49
    49
    Jun 30, 2015 via Android
    10
    @em70 棒
    gamexg
    gamexg
    Jun 30, 2015
    11
    发现后爬虫后别直接暴力封锁,而是对爬虫随机的提供错误的内容。
    qiuai
    qiuai
    Jun 30, 2015
    12
    你可以解析一下规则,然后去搜一点H小说返回给采集器..
    反正采集的人基本上只看标题和前面一段,后面的东西都不看...你就给他塞一些H小说进去...
    你要是再狠就给他插上几张H图...
    lshero
    lshero
    Jun 30, 2015
    13
    @qiuai 然后恰好遇到了警察蜀黍的爬虫自动截图并保存时间戳
    liujiantao
    liujiantao
    Jun 30, 2015
    14
    百度知道防采集就是给短时间较大访问进行分析给出错误结果了,不过公用一个IP的用户(我不是黑长宽)有一个作死就23333了
    sumhat
    sumhat
    Jun 30, 2015
    15
    制作过一个 WordPress 插件,本意是用于防止敏感词被墙的,也可用于反采集。当然对搜索引擎有一定的限制作用。

    介绍: https://leonax.net/p/1969/wp-plugin-enigma/
    guesskiss
    guesskiss
    Jun 30, 2015 via Android
    16
    css和js用php输出,凡是这个php没获得客户端ip的全部ban掉,前提是伪静态要做好 要不别人一眼就分析出原因了
    qiuai
    qiuai
    Jun 30, 2015
    17
    @lshero =.=都分析出来了,干嘛还在自己的网站显示...
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1866 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 1035ms · UTC 06:31 · PVG 14:31 · LAX 22:31 · JFK 01:31
    ♥ Do have faith in what you're doing.