xiaoyu9527
V2EX  ›  问与答

scrapy 的 xpath 测试 有没有什么所见即所得的方式?

  •  
  •   xiaoyu9527 · Jul 28, 2016 · 2293 views
    This topic created in 3761 days ago, the information mentioned may be changed or developed.

    我用 chrome 的 console 来测试 即便测试成功。 在 scrapy 里 也会抓不到数据。

    有没有办法所见即所得呀。

    8 replies  •  2017-08-21 14:21:47 +08:00
    xiaoyu9527
    xiaoyu9527
    OP
    Jul 28, 2016
    2
    感觉现在所见即所得的 XPATH 抓取工具还真的不少。

    今晚回家好好研究研究

    gooseeker 就是一个。

    得认真做一个数据抓取者了(辣鸡制造者)了
    imn1
    imn1
    Jul 28, 2016
    3
    除了上面说的 firebug+firepath ,可视化右键指哪选哪的还有
    WebDriver Element Locator 这个可以右键输出 C# Ruby Python Java Xpath 几种语言的 locator
    https://addons.mozilla.org/en-US/firefox/addon/element-locator-for-webdriv
    Yet Another Remove It Permanently 这个主要是隐藏页面元素用的,但有个 copy xpath/css 的功能
    https://addons.mozilla.org/en-US/firefox/addon/yarip
    xiaoyu9527
    xiaoyu9527
    OP
    Jul 28, 2016
    4
    @imn1 我用 chrome 取出来的在 scrapy 经常不能用。。
    laoyur
    laoyur
    Jul 29, 2016
    5
    @xiaoyu9527 确定不是因为 chrome 取的元素是 js 渲染出来的?
    xiaoyu9527
    xiaoyu9527
    OP
    Jul 29, 2016
    6
    @laoyur 不太清楚。目前找了一个专门写规则的插件 gooseeker 感觉挺不错的。

    可以组合到任何采集器里。

    这样可以解决 XPATH 不熟练的大问题
    regent
    regent
    Aug 20, 2017
    7
    @xiaoyu9527 请问后面您找了一个什么插件解决问题?谢谢
    xiaoyu9527
    xiaoyu9527
    OP
    Aug 21, 2017
    8
    @regent 我不是已经说了么。。。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1033 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 18:53 · PVG 02:53 · LAX 10:53 · JFK 13:53
    ♥ Do have faith in what you're doing.