rainbowmorel
V2EX  ›  问与答

2025 年如果还想做一些爬虫相关的任务,还是首选 scrapy 吗?

  •  
  •   rainbowmorel · May 1, 2025 · 3064 views
    This topic created in 564 days ago, the information mentioned may be changed or developed.

    现在的反爬技术,已经让一些没有安全相关的工作者无法进行。scrapy 这类框架貌似还是使用 http 协议相关的操作。不知道现在各位大佬都在用什么让自己可以有更多的摸鱼时间的工具!

    萌新求助

    9 replies  •  2025-05-21 11:05:01 +08:00
    march1993
    march1993
    May 1, 2025
    1
    我感觉 scrapy 只是个玩具,chromedp 之类的依靠 Chrome DevTools Protocol 的才是正经爬虫方案
    Ketteiron
    Ketteiron
    May 1, 2025
    2
    2025 年了,除了无头的方案都可以退休了。国内还好,一堆网站跟不设防差不多,你可以继续用上古爬虫,国外全上了 CF/AWS ,过 js 挑战以及伪造 tls 指纹是最基本的,掂量下非无头能不能实现,就算实现了难度和时间花费不是一个量级的。
    mumbler
    mumbler
    May 1, 2025❤️1
    4
    首选 browser use
    freemoon
    freemoon
    May 1, 2025
    5
    大家都没有心思再去分析复杂的接口了,基本都是上无头。scrapy 已经廉颇老矣了。
    rainbowmorel
    rainbowmorel
    OP
    May 5, 2025
    6
    @mumbler 这个会不会有点慢
    rainbowmorel
    rainbowmorel
    OP
    May 5, 2025
    7
    @march1993 11111
    QHKZ
    QHKZ
    May 6, 2025 via iPhone
    8
    试试一些自动化测试框架吧,比如谷歌浏览器的 puppeteer ,前端的 playwright 框架。这些东西比 scrapy 要强不少,动态网站也能爬,还能模拟输入重放,能不能过反爬不好说。
    rainbowmorel
    rainbowmorel
    OP
    May 21, 2025
    9
    @crab 啊原来还有这个东西 666 我一直以为只能用无头浏览器的
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   930 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 39ms · UTC 20:29 · PVG 04:29 · LAX 12:29 · JFK 15:29
    ♥ Do have faith in what you're doing.