luckystar
V2EX  ›  问与答

各位大神们微信公众号文章抓取怎么避免被封

  •  
  •   luckystar · May 18, 2018 · 4274 views
    This topic created in 3001 days ago, the information mentioned may be changed or developed.

    最近发现 比特星球 app,懂财帝 app 都汇聚了微信公众号,简书,知乎等平台的内容,大家有了解如何抓取的吗?尤其是微信公众号的文章,还要考虑公众号文章的更新时间,以便能及时抓取

    11 replies    2018-05-21 19:00:04 +08:00
    cnqncom
        1
    cnqncom  
       May 18, 2018
    去搜狗爬
    搞不定的就去其他已经爬了搜狗的站点爬
    zingl
        2
    zingl  
       May 18, 2018
    雇个人帮你拷贝粘贴
    woscaizi
        3
    woscaizi  
       May 18, 2018 via iPhone
    @cnqncom 这应该是最容易实现的方案了吧。
    ik
        4
    ik  
       May 18, 2018 via iPhone
    最近也有在写公众号爬虫,我是用全球的 dns 解析搜狗微信的地址,然后分步请求。
    目前问题是 用无头浏览器取 cookie 的时候卡住了,特征太明显,经常出验证码,不知道怎么搞。
    jdjd
        5
    jdjd  
       May 19, 2018 via iPhone
    借楼问一下,怎么下载一个公众号以前的文章阿
    有个比较喜欢的公众号。就想看看它以前的文章
    googlefans
        6
    googlefans  
       May 20, 2018
    qwjhb
        7
    qwjhb  
       May 20, 2018
    @jdjd 爬历史文章 定个 sleep 完全没问题
    Livin1991
        8
    Livin1991  
       May 21, 2018
    最近发现微信小程序也可以抓取行业新闻 但是我感觉好像是请人手动更新的 不知道是不是可以实现自动抓取?
    luckystar
        9
    luckystar  
    OP
       May 21, 2018
    @cnqncom 现在就在爬搜狗,只是间隔时间不好把握
    luckystar
        10
    luckystar  
    OP
       May 21, 2018
    @ik python+selenium 感觉还不错
    luckystar
        11
    luckystar  
    OP
       May 21, 2018
    @zingl 这是个好办法!!!
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1072 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 50ms · UTC 18:25 · PVG 02:25 · LAX 11:25 · JFK 14:25
    ♥ Do have faith in what you're doing.