• 请不要在回答技术问题时复制粘贴 AI 生成的内容
PythoneerDev6
V2EX  ›  程序员

分享一个用 Python 获取 V2 首页文章的爬虫

  •  
  •   PythoneerDev6 ·
    xiyouMc · Jul 12, 2017 · 5395 views
    This topic created in 3415 days ago, the information mentioned may be changed or developed.

    多的不说了。 直接上链接:

    点击 V2EX 爬虫

    Supplement 1  ·  Jul 13, 2017

    强调下: 这是入门级别的爬虫。 吐槽 说 low 的。趁早 cmd + w,不送。

    Supplement 2  ·  Jul 13, 2017

    还有,这是 v2 提供的 API.

    https://www.v2ex.com/api/topics/latest.json

    可以访问看看,是不是首页的文章。

    32 replies  •  2017-07-14 22:12:07 +08:00
    lzhr
    lzhr
    Jul 12, 2017
    1
    通过 Atom Feed 订阅
    ranleng
    ranleng
    Jul 12, 2017 via Android
    2
    内个。。v2 有给 api
    cxbig
    cxbig
    Jul 12, 2017
    3
    同上,为啥不用官方 Feed。。。
    xray887
    xray887
    Jul 12, 2017 via iPad
    4
    说实话,感觉很 low
    aaronzjw
    aaronzjw
    Jul 12, 2017❤️1
    5
    楼主辛苦造的轮子,不懂楼上的都这么刻薄。 鼓励鼓励吧,人生不易
    16888
    16888
    Jul 13, 2017 via Android
    6
    这个确实有点搞(= ̄ ρ ̄=) ..zzZZ 好像是人家大门一直开着,你偏要翻墙进人家屋里去 haha
    gesse
    gesse
    Jul 13, 2017❤️1
    7
    这个应该是技术练习吧,吐槽可以用 feed 的是什么鬼?

    为什么不好好评价下代码
    PythoneerDev6
    PythoneerDev6
    OP
    Jul 13, 2017
    8
    @ranleng v2 的 API 不是实时的 难道你不知道?
    PythoneerDev6
    PythoneerDev6
    OP
    Jul 13, 2017
    9
    @xray887 那你说说什么算不 low?
    PythoneerDev6
    PythoneerDev6
    OP
    Jul 13, 2017
    10
    @16888 你用过 他的 API 吗 没发现不是 实时的吗?
    16888
    16888
    Jul 13, 2017
    11
    @PythoneerDev6 是的,站长做了缓存。不光是 api,这个 web 首页也不是实时的啊,要缓存过期了,才会更新,你发个贴试试就知道了。
    PythoneerDev6
    PythoneerDev6
    OP
    Jul 13, 2017
    12
    @16888 嗯 是的 发新帖排的很后,其次貌似回复也不是很及时的靠前。 貌似问题还是有的。
    PythoneerDev6
    PythoneerDev6
    OP
    Jul 13, 2017
    13
    @aaronzjw 还是老铁 懂。
    aaronzjw
    aaronzjw
    Jul 13, 2017 via Android❤️1
    14
    @PythoneerDev6 超哥我是你粉丝啊,说你 low 的肯定没看过你代码
    bao3
    bao3
    Jul 13, 2017❤️1
    15
    楼上那些嘲讽楼主的人,我想表达的是,看了楼主的文章,起码我知道怎么弄这个基本的爬虫了。楼主应该是以 V2EX 为引子而已。
    Jakesoft
    Jakesoft
    Jul 13, 2017 via iPhone
    16
    我写过的爬虫:输入 v2 的首页的 URL 得到所有的帖子,以及帖子的各个属性,不知楼主是否需要参考?
    gulangyu
    gulangyu
    Jul 13, 2017❤️1
    17
    滋瓷分享!
    ivechan
    ivechan
    Jul 13, 2017❤️1
    18
    虽然讲的比较简单, 但是胜在逻辑比较清晰, 另外排版还是不错的。
    看了一些其他人发的公众号文章,排版不忍直视。。
    ywgx
    ywgx
    Jul 13, 2017❤️1
    19
    支持楼主
    lommo
    lommo
    Jul 13, 2017❤️1
    20
    歧视 windows
    PythoneerDev6
    PythoneerDev6
    OP
    Jul 13, 2017
    21
    @aaronzjw 扎心的 哇哇大哭
    PythoneerDev6
    PythoneerDev6
    OP
    Jul 13, 2017
    22
    @Jakesoft v2 的首页 不就是 https://v2ex.com 嘛? 不过 不防分享出来 我看看。其实这个贴子只是安利下 Scrapy 的基础知识。V2 只是个引子。我也没有深入爬取 V2
    PythoneerDev6
    PythoneerDev6
    OP
    Jul 13, 2017❤️1
    23
    @ivechan 每次写完文章 自己得看上 不下十次 改排版 改字词不当的地方。 才发出来。
    PythoneerDev6
    PythoneerDev6
    OP
    Jul 13, 2017
    24
    @bao3 感动的我 哇哇大哭。
    PythoneerDev6
    PythoneerDev6
    OP
    Jul 13, 2017
    25
    @lommo 南无观世音菩萨
    AnyISalIn
    AnyISalIn
    Jul 13, 2017
    26
    写过一个 v2ex_console 的项目,通过命令行上 V2EX 登录、浏览、回复,不过烂尾了
    PythoneerDev6
    PythoneerDev6
    OP
    Jul 13, 2017
    27
    @AnyISalIn 嗯嗯 不错的 棒棒的 。不过 这个文章中 v2 不是重点,Scrapy 才是重点。
    pcdRob
    pcdRob
    Jul 13, 2017
    28
    我写φ( ̄ー ̄ )ノ了个更 low 的 爬 b 站用户的
    PythoneerDev6
    PythoneerDev6
    OP
    Jul 13, 2017
    29
    @pcdRob 幸亏你爬的不是电视剧。
    mcds
    mcds
    Jul 14, 2017
    30
    本来想吐槽一下楼主的头像,不过我玻璃心,怕被喷,还是算了...
    PythoneerDev6
    PythoneerDev6
    OP
    Jul 14, 2017
    31
    @mcds V2 里面哪有头像可言。
    ywgx
    ywgx
    Jul 14, 2017
    32
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2470 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 67ms · UTC 11:46 · PVG 19:46 · LAX 03:46 · JFK 06:46
    ♥ Do have faith in what you're doing.