推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
MrhuangSTR
V2EX  ›  Python

有什么好的办法可以监控"网页结构"变化

  •  
  •   MrhuangSTR · Sep 2, 2020 · 5294 views
    This topic created in 2267 days ago, the information mentioned may be changed or developed.

    RT,对于每月定时更新爬虫,需要抽取的数据对应的网页结构发生变化数据就会解析出错;例如要抽取的文本一开始 是 //div/span/em/text(), 下次网页结构调整就变成 //div/span/span/text();有什么好的办法可以监控网页结构发生变化或者更健壮的解析方式吗?

    26 replies  •  2020-09-19 16:16:23 +08:00
    crclz
    crclz
    Sep 2, 2020
    1
    写测试。
    爬虫的时候,看看抓取的标题是否为空,是否达到了几个字,是否是汉字……如果不符合测试条件,就通知人工干预(检查+重新写代码)
    MrhuangSTR
    MrhuangSTR
    OP
    Sep 2, 2020
    2
    @crclz 思路可以,但总感觉还可以再优化...如果要抽取的字段很多,那就要对每一个字段进行判断比较
    hotpot6147
    hotpot6147
    Sep 2, 2020❤️1
    3
    解析出错时就说明"网页结构"发生了变化, 所以通过捕获异常来监控
    crclz
    crclz
    Sep 2, 2020
    4
    或者用 selenium 获取元素在屏幕上的坐标?与标准坐标差距在某个值以内,就认为未改变。
    nnnToTnnn
    nnnToTnnn
    Sep 2, 2020
    5
    这不就是 jest 吗? 有成熟的 jest 为什么不用?
    zsdroid
    zsdroid
    Sep 2, 2020
    6
    解析出错不就是监听到了"网页结构"变化吗?
    flowfire
    flowfire
    Sep 2, 2020❤️2
    7
    点进来之前我以为你说的是 MutationObserver 。。。。
    MrhuangSTR
    MrhuangSTR
    OP
    Sep 2, 2020
    8
    @hotpot6147
    @zsdroid 确实是一种比较取巧的方式,但是都是在爬虫运行过程中才能捕获,感觉不够健壮;能不能在爬虫运行之前先监控到网页结构发生变化,如果未发生变化则运行。
    MrhuangSTR
    MrhuangSTR
    OP
    Sep 2, 2020
    9
    @crclz 解析用 xpath 抽取文本,如果用 selenium 监测坐标点相差可能会更大吧
    MrhuangSTR
    MrhuangSTR
    OP
    Sep 2, 2020
    10
    @flowfire 你不说,我还不知道有 MutationObserver 这个东西.......
    hugedata
    hugedata
    Sep 2, 2020
    11
    一般的处理方式不都是配置规则么。。。。爬取之前如果检测到规则出错,就跳过这项任务。然后发给人工重新编辑规则。爬虫是要人工来维护的,基本上做不到全自动。
    MrhuangSTR
    MrhuangSTR
    OP
    Sep 2, 2020
    12
    @hugedata 你的意思是爬之前先按照设置的规则抓取一遍,如果不符合预期就发邮件或者其他方式通知
    MrhuangSTR
    MrhuangSTR
    OP
    Sep 2, 2020
    13
    @nnnToTnnn 搜了下 jest, JavaScript 单元测试?这跟监控网页结构有啥关系
    nnnToTnnn
    nnnToTnnn
    Sep 2, 2020
    14
    @MrhuangSTR jest 原理就是利用无头浏览器,进行 dom 节点的断言。 如果是自己项目。 一般是用 jest 断言。 如果是做数据抓取,估计就是我想错了。
    est
    est
    Sep 2, 2020
    15
    正文抓取?看样子又不一样。2333
    hugedata
    hugedata
    Sep 2, 2020
    16
    @MrhuangSTR 对,一般两种方式:1.质量巡检(事后),2.单页面预处理(事前)。具体要结合你的业务来,看看怎么做更适合你们,或者两个结合,或者更多的其他的我没有想到的办法。
    jdkl
    jdkl
    Sep 2, 2020 via Android
    17
    记得 chrome 有一个插件能够检测网页结构的变化并能发出提醒,但一直没用过,忘记叫什么名字了
    MrhuangSTR
    MrhuangSTR
    OP
    Sep 2, 2020
    18
    @jdkl 叫 Distill Web Monitor 吧,这插件是可以监控网页变化,现在在用,但是只要是网页文本发生变化就会认定是发生变化了吧
    MrhuangSTR
    MrhuangSTR
    OP
    Sep 2, 2020
    19
    @hugedata 你说的这两个词我在爬虫中咋就没有听过....可能我们的业务比较随意
    lawler
    lawler
    Sep 2, 2020
    20
    蹲一个结果。
    Hades300
    Hades300
    Sep 3, 2020
    21
    页面的变动是只有拿到 response 才能知道呀。其实宽泛一点,但凡页面发生变化都可以被认为是“结构改变”。
    我的话,会在每次爬取时生成对 response.text 的哈希吧,然后存到 Redis (当然其他也行),key 要能映射到单次请求,考虑到 Post 不会改变 url 。。key 的生成我大概会选个 md5(method+url+data)。
    有了这样的键值对后,把这部分比较写到中间件里,equal or unset ->set hash and save item,failed -> updated & drop item & Call Hook 邮件或者钉钉 或者自建监控表入个库。

    这种方法只适用于静态页面
    Hades300
    Hades300
    Sep 3, 2020
    22
    其实爬虫写得好,只要捕获特定类型的 Exception 。中间件里写 Hook 就好。
    Crixs
    Crixs
    Sep 3, 2020
    23
    目前的业务主要就靠捕获异常来获取
    MrhuangSTR
    MrhuangSTR
    OP
    Sep 3, 2020
    24
    @Hades300 有比较好的中间件处理的版本观摩下吗
    MrhuangSTR
    MrhuangSTR
    OP
    Sep 3, 2020
    25
    @RockShake 捕获异常然后通知还是?
    ChangHaoWei
    ChangHaoWei
    Sep 19, 2020
    26
    你这爬虫的话 很多页面都是相同的啊,,那就搞 sample 监测啊。固定监控几个页面 那几个页面出了问题肯定相关的所有页面都不行。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2458 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 111ms · UTC 11:17 · PVG 19:17 · LAX 03:17 · JFK 06:17
    ♥ Do have faith in what you're doing.