• 请不要在回答技术问题时复制粘贴 AI 生成的内容
gongfuxiongmao
V2EX  ›  程序员

现在的公众号还能爬到信息吗

  •  
  •   gongfuxiongmao · Sep 28, 2020 · 4425 views
    This topic created in 2226 days ago, the information mentioned may be changed or developed.

    想学习一下爬虫,爬点公众号的文章,大佬们有什么建议吗,只需要大概的可行的方向就行,剩下的自己去研究。

    网上搜到的方法都是比较老的信息,一般都不能用了

    13 replies  •  2020-09-29 19:01:20 +08:00
    kof21411
    kof21411
    Sep 28, 2020❤️1
    1
    爬虫写得好,坐牢坐得早,别惹南山必胜客!
    pandait
    pandait
    Sep 28, 2020 via Android
    2
    搜狗的微信搜索,有入口。
    crclz
    crclz
    Sep 28, 2020
    3
    几个月之前爬过,方法是用 pc 微信客户端,打开某个公众号,然后人工用鼠标往下滚动,然后右键-查看源代码,然后保存为文件,用 python 解析 dom,就可以找出地址列表。有时候请求多了,会封禁那个入口 24 小时,换个号就行了。

    搜狗的微信搜索能够搜索到的极其有限。
    mlhadoop
    mlhadoop
    Sep 28, 2020
    4
    @crclz

    ```
    try {
    const maxScroll = Number.MAX_SAFE_INTEGER;
    let lastScroll = 0;
    const interval = setInterval(() => {
    window.scrollBy(0, 100);
    const scrollTop = document.documentElement.scrollTop;
    if (scrollTop === maxScroll || scrollTop === lastScroll) {
    clearInterval(interval);
    //resolve();
    } else {
    lastScroll = scrollTop;
    }
    }, 1000);
    } catch (err) {
    console.log(err);
    //reject(err.toString());
    }
    ```

    不用手滑
    wangyzj
    wangyzj
    Sep 28, 2020
    5
    最好的办法是逆向
    其次用 appium
    0o0O0o0O0o
    0o0O0o0O0o
    Sep 29, 2020
    6
    /t/708599

    逆向微信违法,所以只提供一个方法,你可以提交需要爬的公众号,然后爬我的(
    locoz
    locoz
    Sep 29, 2020 via Android
    7
    要么自动化测试,要么逆向。如果只是玩玩,那就自动化测试一把梭就行,最多十分钟就完事了。
    sweat89
    sweat89
    Sep 29, 2020
    8
    @pandait 村里刚通网?
    zsdroid
    zsdroid
    Sep 29, 2020
    9
    公众号都凉透了。。。
    pandait
    pandait
    Sep 29, 2020 via Android
    10
    @sweat89 差不多,刚出来。
    Achiii
    Achiii
    Sep 29, 2020
    11
    曾经想分析一个公众号里面的投票数据,先在 pc 上面滚轮加载完他的页面,保存 html 再正则。算是比较低效的方法吧
    qsnow6
    qsnow6
    Sep 29, 2020
    12
    @0o0O0o0O0o #6 牛逼,真手动扒
    gongfuxiongmao
    gongfuxiongmao
    OP
    Sep 29, 2020
    13
    看了大家的回复,我估计要放弃了
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   5305 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 52ms · UTC 03:39 · PVG 11:39 · LAX 19:39 · JFK 22:39
    ♥ Do have faith in what you're doing.