aidevs
V2EX  ›  问与答

有什么好用的爬虫程序?可以爬单个站点的

  •  
  •   aidevs · Jun 8, 2015 · 2814 views
    This topic created in 4180 days ago, the information mentioned may be changed or developed.
    想把站点爬一遍,检查下 500 404 等错误,
    收集下页面错误
    Supplement 1  ·  Jun 8, 2015
    用了同事推荐的 xenu 软件
    4 replies  •  2015-06-08 16:59:36 +08:00
    Andy00
    Andy00
    Jun 8, 2015
    1
    [web magic](http://webmagic.io)
    用java开发的,不知道是否对你有帮助
    wy315700
    wy315700
    Jun 8, 2015
    2
    wget就可以啊
    Andy00
    Andy00
    Jun 8, 2015
    3
    。。。原来回复里不能用Markdown语法
    网站这个
    http://webmagic.io
    wsbnd9
    wsbnd9
    Jun 8, 2015
    4
    scrapy python 的一个爬虫框架
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2409 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 34ms · UTC 12:21 · PVG 20:21 · LAX 04:21 · JFK 07:21
    ♥ Do have faith in what you're doing.