推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
TKKONE
V2EX  ›  Python

当爬虫遇到防火墙

  •  
  •   TKKONE ·
    PRO
    · Nov 26, 2016 · 5394 views
    This topic created in 3643 days ago, the information mentioned may be changed or developed.

    之前每天定时爬的网站,加上了金盾防火墙,然后首次访问会有,http://www.xxx.com/?jdfwkey=yyyyyy 就是会有 jdfwkey 这个参数。。。不知道大家爬虫有没有遇到这种情况?怎么解决。。。

    23 replies  •  2016-11-28 09:20:02 +08:00
    TKKONE
    TKKONE
    OP
    PRO
    Nov 26, 2016
    1
    啊!!!找到办法了!!!没有动手直接问果然不好!!!
    Troevil
    Troevil
    Nov 26, 2016
    2
    卧槽,我就这么打开了
    czk1997
    czk1997
    Nov 26, 2016
    3
    @Livid NSFW 以及这车有点快……
    wjm2038
    wjm2038
    Nov 26, 2016 via Android
    4
    @czk1997 为啥我感觉只是他随便发的网站
    annielong
    annielong
    Nov 26, 2016
    5
    记得不是一直有 key ,或者和其他网站记混了,反正我是连可以一起抓
    TKKONE
    TKKONE
    OP
    PRO
    Nov 26, 2016
    6
    ?????
    @czk1997
    随便写的 xxx 能打开???
    TKKONE
    TKKONE
    OP
    PRO
    Nov 26, 2016
    7
    我曹,还真的能打开!!!我只是作为示例写的网站地址
    wdlth
    wdlth
    Nov 26, 2016
    8
    @tumbzzc 经典域名,上学时我们学校刚接入 ADSL ,然后某领导为了试试怎么上网就输入了这个域名,然后……
    Arnie97
    Arnie97
    Nov 26, 2016 via Android
    9
    @wdlth 笑死,居然真能打开
    还是用 example.com 比较稳妥
    czk1997
    czk1997
    Nov 26, 2016
    10
    @wjm2038 看出来是瞎打的,可惜一不小心玩脱了……
    merrygreek
    merrygreek
    Nov 26, 2016 via Android
    11
    老司机。
    lixingcong
    lixingcong
    Nov 26, 2016 via Android
    12
    钓鱼贴 活捉老司机
    razrlele
    razrlele
    Nov 26, 2016
    13
    笑出声
    nadoo
    nadoo
    Nov 26, 2016
    14
    话说还经常在一些示例里面写 xxx.com ,看样子以后得小心了。。。
    jalena
    jalena
    Nov 26, 2016
    15
    貌似必须开代理才能打开..
    feather12315
    feather12315
    Nov 26, 2016 via Android
    16
    笑…
    Chappako
    Chappako
    Nov 26, 2016
    17
    厉害了
    sunulin
    sunulin
    Nov 26, 2016 via iPhone
    18
    不小心点开了,,哥别闹可以不😣
    DesignerSkyline
    DesignerSkyline
    Nov 26, 2016
    19
    所以示例这种网址应该养成习惯,用 www.example.com
    hard2reg
    hard2reg
    Nov 26, 2016
    20
    @tumbzzc 我曹打开了居然!
    billie
    billie
    Nov 26, 2016 via Android
    21
    😂😂
    jy02201949
    jy02201949
    Nov 27, 2016 via iPhone
    22
    然后到底是什么网站谁告诉我一下手机打不开
    eggacher
    eggacher
    Nov 28, 2016
    23
    33333333
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   956 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 60ms · UTC 20:04 · PVG 04:04 · LAX 12:04 · JFK 15:04
    ♥ Do have faith in what you're doing.