想学习一下爬虫,爬点公众号的文章,大佬们有什么建议吗,只需要大概的可行的方向就行,剩下的自己去研究。
网上搜到的方法都是比较老的信息,一般都不能用了
想学习一下爬虫,爬点公众号的文章,大佬们有什么建议吗,只需要大概的可行的方向就行,剩下的自己去研究。
网上搜到的方法都是比较老的信息,一般都不能用了
|
1
爬虫写得好,坐牢坐得早,别惹南山必胜客!
|
|
pandaitSep 28, 2020 via Android
2
搜狗的微信搜索,有入口。
|
|
crclzSep 28, 2020
3
几个月之前爬过,方法是用 pc 微信客户端,打开某个公众号,然后人工用鼠标往下滚动,然后右键-查看源代码,然后保存为文件,用 python 解析 dom,就可以找出地址列表。有时候请求多了,会封禁那个入口 24 小时,换个号就行了。
搜狗的微信搜索能够搜索到的极其有限。 |
|
mlhadoopSep 28, 2020
4
@crclz
``` try { const maxScroll = Number.MAX_SAFE_INTEGER; let lastScroll = 0; const interval = setInterval(() => { window.scrollBy(0, 100); const scrollTop = document.documentElement.scrollTop; if (scrollTop === maxScroll || scrollTop === lastScroll) { clearInterval(interval); //resolve(); } else { lastScroll = scrollTop; } }, 1000); } catch (err) { console.log(err); //reject(err.toString()); } ``` 不用手滑 |
|
wangyzjSep 28, 2020
5
最好的办法是逆向
其次用 appium |
|
0o0O0o0O0oSep 29, 2020
6
|
|
locozSep 29, 2020 via Android
7
要么自动化测试,要么逆向。如果只是玩玩,那就自动化测试一把梭就行,最多十分钟就完事了。
|
|
zsdroidSep 29, 2020
9
公众号都凉透了。。。
|
|
AchiiiSep 29, 2020
11
曾经想分析一个公众号里面的投票数据,先在 pc 上面滚轮加载完他的页面,保存 html 再正则。算是比较低效的方法吧
|
|
qsnow6Sep 29, 2020
12
@0o0O0o0O0o #6 牛逼,真手动扒
|
|
13
看了大家的回复,我估计要放弃了
|