推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
Kirikora
V2EX  ›  Python

有哪些常用的爬虫工具?

  •  
  •   Kirikora · Dec 28, 2017 via Android · 6931 views
    This topic created in 3241 days ago, the information mentioned may be changed or developed.

    比方说,有哪些好用的 http 抓包工具? chrome 的 f12 在遇到跳转的时候就会刷新了,不开心。

    25 replies  •  2017-12-28 23:46:42 +08:00
    Akkuman
    Akkuman
    Dec 28, 2017 via Android
    1
    。。你不会用 chrome 的调试,我只能这么说
    Akkuman
    Akkuman
    Dec 28, 2017 via Android
    2
    有保留的选项
    lzhd24
    lzhd24
    Dec 28, 2017 via Android
    3
    fiddler
    Kirikora
    Kirikora
    OP
    Dec 28, 2017 via Android
    4
    @Akkuman 没。。没有找到,抱歉。用的还很不熟练
    nazor
    nazor
    Dec 28, 2017 via iPhone❤️1
    5
    有个选项是 preserve log
    Kirikora
    Kirikora
    OP
    Dec 28, 2017 via Android
    6
    @lzhd24 谢谢~
    Kirikora
    Kirikora
    OP
    Dec 28, 2017 via Android
    7
    @nazor 谢谢~ 我竟然没有注意到。。(捂脸
    Kirikora
    Kirikora
    OP
    Dec 28, 2017 via Android
    9
    @omph 好。。好的 虽然我只是想知道一些好用的小工具而已
    anasplrt34
    anasplrt34
    Dec 28, 2017
    10
    其实 chrome 的不如 firefox 好用 后者至少是彩色的 www
    RadishWind
    RadishWind
    Dec 28, 2017
    11
    @nazor 谢谢
    alen
    alen
    Dec 28, 2017
    12
    没点进来想到的是 scrapy,点进来看后想到了 fiddler、Wireshark ( 逃
    golmic
    golmic
    Dec 28, 2017
    13
    楼上+1
    boneyao
    boneyao
    Dec 28, 2017❤️1
    14
    chrome://net-internals/#events
    scriptB0y
    scriptB0y
    Dec 28, 2017❤️2
    15
    再贴一下…… 推荐几个 https://www.kawabangga.com/posts/2365
    scriptB0y
    scriptB0y
    Dec 28, 2017
    16
    @alen 工具 不是框架
    ivechan
    ivechan
    Dec 28, 2017
    17
    @lzhd24 #3 之前不是叫 fiddler2 的吗? 怎么 2 没了?
    Kirikora
    Kirikora
    OP
    Dec 28, 2017 via Android
    18
    @scriptB0y 对对对,我就想要知道这种工具,谢谢~
    rayjoy
    rayjoy
    Dec 28, 2017
    19
    @scriptB0y 看了,不错,感谢推荐。
    YanSep
    YanSep
    Dec 28, 2017 via Android
    20
    chrome 就够了,实在不行就 fiddler
    j717273419
    j717273419
    Dec 28, 2017
    21


    我也是才知道原来 F12 里边有个选项'Preserve log'可以保留日志
    Ehco1996
    Ehco1996
    Dec 28, 2017
    22
    厚脸皮的推荐一下自己的写的 lazyspider
    https://www.v2ex.com/t/416035
    luzihang
    luzihang
    Dec 28, 2017
    23
    Charles
    Kirikora
    Kirikora
    OP
    Dec 28, 2017
    24
    @Ehco1996 支持~
    ProkillerJ
    ProkillerJ
    Dec 28, 2017 via iPhone
    25
    burpsuite,会不会有点大材小用
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2440 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 68ms · UTC 12:19 · PVG 20:19 · LAX 04:19 · JFK 07:19
    ♥ Do have faith in what you're doing.