• 请不要在回答技术问题时复制粘贴 AI 生成的内容
MichaelYin
V2EX  ›  程序员

如果你想学习 scrapy 爬虫开发,或许它能帮到你

  •  2
     
  •   MichaelYin · Dec 6, 2016 · 5560 views
    This topic created in 3629 days ago, the information mentioned may be changed or developed.

    如果你想学习 scrapy 爬虫开发,或许它能帮到你

    大家好,我是 michael ,现在居住在水电之城宜昌,从事远程开发已经三年多了,主要用 python 进行爬虫开发,数据可视化工具开发。一直以来 python 社区并没有一份比较好的爬虫入门教程,免费的更少,所以我决定来试着解决这个痛点。

    这个项目包含

    1. 一份任务列表,这份任务列表包含了爬虫开发过程中的一些基本知识点,每一个任务都是一个小的测验,当你循序渐进的完成了这个任务列表中的任务时,你将有能力面对爬虫实际开发过程中一些更复杂的情况。这个任务列表的创意来自 codekata

    2. 一份爬虫开发过程中的注意事项和笔记,这些笔记能有效提高你的开发效率,还会介绍一些非常有用的工具

    项目已经托管在 github, 关于这个项目更多的信息请戳 这里

    19 replies  •  2016-12-07 13:07:35 +08:00
    lakeview
    lakeview
    Dec 6, 2016
    1
    谢谢,先看看
    fengxueshangu
    fengxueshangu
    Dec 6, 2016
    2
    支持一下楼主,公司电脑不能 pip ,安装起来简直要了我老命
    pscl
    pscl
    Dec 6, 2016
    3
    支持,先看看
    zhangchioulin
    zhangchioulin
    Dec 6, 2016
    4
    支持支持
    KenGe
    KenGe
    Dec 6, 2016
    5
    支持 我先看看 最近在学习
    GreatMartial
    GreatMartial
    Dec 6, 2016 via Android
    6
    支持
    hebwjb
    hebwjb
    Dec 6, 2016
    7
    支持
    cankoor
    cankoor
    Dec 6, 2016
    8
    有心,支持!
    jingliang
    jingliang
    Dec 6, 2016
    9
    赞
    chendajun
    chendajun
    Dec 6, 2016
    10
    有心,兹磁!
    fhefh
    fhefh
    Dec 6, 2016
    11
    先 mark
    songjiaxin2008
    songjiaxin2008
    Dec 6, 2016 via Android
    12
    前几天直接学 scrapy 爬了下 javlibrary...这个库很强大,对于错误处理以及存储都很方便,就是感觉文档有的东西不是很新呀,都得自己踩完了才能发现,比如 log 库,以及包引入(contribe)。
    ammzen
    ammzen
    Dec 6, 2016
    13
    @songjiaxin2008 分词搞错了,当成 javlibrary 这个库很强大,去搜了一下[掩面而逃(*/ω╲*)]
    zhanghaoteng
    zhanghaoteng
    Dec 6, 2016
    14
    支持 lz ,感谢
    flyingghost
    flyingghost
    Dec 6, 2016
    15
    @ammzen javlibrary 这个库很强大毫无破绽啊。😂
    publicAdmin
    publicAdmin
    Dec 6, 2016
    16
    已 fork ,感谢,感谢!🙏
    alexapollo
    alexapollo
    Dec 6, 2016
    17
    @songjiaxin2008
    @flyingghost
    你们竟然在这里讨论这么神圣而不可侵犯的库
    blaxing
    blaxing
    Dec 6, 2016
    18
    楼主有心了,谢谢您的付出。
    zypy333
    zypy333
    Dec 7, 2016
    19
    @songjiaxin2008 我还以为是 java...学习了
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1013 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 70ms · UTC 19:13 · PVG 03:13 · LAX 11:13 · JFK 14:13
    ♥ Do have faith in what you're doing.