Distributions
› Ubuntu
› Fedora
› CentOS
中文资源站
› 网易开源镜像站
qsbaq
V2EX  ›  Linux

shell curl 如何循环抓取 html 里的 meta refresh 跳转地址?

  •  
  •   qsbaq · Sep 10, 2018 · 4482 views
    This topic created in 2978 days ago, the information mentioned may be changed or developed.
    每个 html 页面里都有 <meta http-equiv="refresh" content="3; url=http://laoji.org>'; 这样的跳转,如何使用 shell 的 curl 循环抓取这个 url 进行跳转。
    已经试 curl -L 的参数,因为这里没有发送 header 文件头,所以这里不会继续抓取。
    求大佬指点一下~
    12 replies  •  2018-09-12 20:03:47 +08:00
    golmic
    golmic
    Sep 10, 2018 via Android
    1
    curl 拿到 html,正则匹配 url,再 curl 跟进
    qsbaq
    qsbaq
    OP
    Sep 10, 2018
    2
    @golmic 这个是不是应该用 shell 来写,可惜不会写 shell。求指导~
    lihongjie0209
    lihongjie0209
    Sep 10, 2018
    3
    用 python 吧
    raysonx
    raysonx
    Sep 10, 2018 via Android
    4
    你确定你需要的不是无头浏览器?还有的页面是用 JavaScript 进行跳转的呢,比如 location.href=http://example.com 。
    Lostars
    Lostars
    Sep 10, 2018
    5
    发个网址看看
    golmic
    golmic
    Sep 10, 2018 via Android
    6
    shell 写最简单,我看你标题里写着 shell 就说了 shell 的思路。Python 的话也很方便,requests、re 就搞定了,不到 10 行
    golmic
    golmic
    Sep 10, 2018 via Android
    7
    发个网址吧,我给你写了
    qsbaq
    qsbaq
    OP
    Sep 12, 2018
    8
    @golmic 我写的是 WordPress 的采集插件,这边有兴趣的话可以加我 QQ 私聊
    qsbaq
    qsbaq
    OP
    Sep 12, 2018
    9
    @golmic QQ:3666-098-77
    qsbaq
    qsbaq
    OP
    Sep 12, 2018
    10
    @Lostars 写的是 WordPress 采集插件 wp-jpost,这边想放入脚本里自动运行。所以上来问一下思路
    golmic
    golmic
    Sep 12, 2018
    11
    @qsbaq #10 php 我不会写,shell 或 Python 可以顺手帮你写了。。
    qsbaq
    qsbaq
    OP
    Sep 12, 2018
    12
    @golmic 大佬来帮写一个 shell 吧~
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2802 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 12:30 · PVG 20:30 · LAX 04:30 · JFK 07:30
    ♥ Do have faith in what you're doing.