Nintendov
V2EX  ›  问与答

curl 抓取问题

  •  
  •   Nintendov · Sep 6, 2014 · 3540 views
    This topic created in 4447 days ago, the information mentioned may be changed or developed.
    curl可以抓取用了js延迟加载的页面全部内容么
    5 replies  •  2014-09-06 23:09:47 +08:00
    lizhijun
    lizhijun
    Sep 6, 2014
    1
    不行。
    用python+scrapy吧。
    Nintendov
    Nintendov
    OP
    Sep 6, 2014
    2
    @lizhijun 没接触过这个啊,它也可以模拟用户操作么
    ultimate010
    ultimate010
    Sep 6, 2014
    3
    splinter完全调用浏览器,scrapy也不能执行js吧。
    建议python + request +lxml,相当方便。
    Nintendov
    Nintendov
    OP
    Sep 6, 2014
    4
    @ultimate010 又一个没接触过的,我去查资料学习TAT
    RemRain
    RemRain
    Sep 6, 2014 via iPhone
    5
    上 phantomjs,WebKit 内核,完美执行 js
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1019 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 35ms · UTC 19:13 · PVG 03:13 · LAX 11:13 · JFK 14:13
    ♥ Do have faith in what you're doing.