freefreesea
V2EX  ›  问与答

什么值得买的 rss 订阅在抓取的时候遇到安全验证了怎么办

  •  
  •   freefreesea · Dec 15, 2025 · 6498 views
    This topic created in 333 days ago, the information mentioned may be changed or developed.
    最近想把什么值得买的几个榜单加到热榜站里去,然后看到官方提供了 rss 源
    https://www.smzdm.com/dingyue/
    但是请求过去会遇到验证码验证,这种情况下怎么做。

    如果通过个人账号的 cookie 去做的话,这个 cookie 的有效期是多久,会不会对账号有影响。
    我看好多热榜站都有什么值得买的榜单,所以就来咨询下朋友们
    15 replies  •  2025-12-16 14:45:22 +08:00
    queue
    queue
    Dec 15, 2025
    1
    你猜什么值得买的技术会不会也在这个站里
    freefreesea
    freefreesea
    OP
    Dec 15, 2025
    2
    @queue 所以呢,我看全网很多地方都有什么值得买的榜单,说明他是可取的,只是我的方案不对,我来咨询下正确方案有什么问题呢,这位朋友
    queue
    queue
    Dec 15, 2025
    3
    @freefreesea #2 没问题,我的意思是,什么值得买的技术可能也在群里,然后他们可能发现这件事,然后有可能封禁掉。没有不允许你提问的意思
    freefreesea
    freefreesea
    OP
    Dec 15, 2025
    4
    @queue 全网几乎 80%的热榜站都有什么值得买的榜单,而且已经很多年。那么这种情况下,你觉得是 [什么值得买] 的技术团队一直发现不了这件事,还是说本身这件事就是允许的
    lavvrence
    lavvrence
    Dec 15, 2025
    5
    更换包括 User-Agent 和 JA3/JA4 指纹这类客户端特征。
    NewYear
    NewYear
    Dec 15, 2025
    6
    Linuxdo 也这样,开放 RSS ,但服务器通过代码访问不了,然后站长还会很贴心给一个测试截图和你说,RSS 访问没问题啊。

    甚至有人发帖问《为什么 RSS 是给非浏览器访问的,却要验证浏览器?》,终于在半年前,彻底锁死非浏览器访问,然后不了了之。

    而 smzdm ,我试了下,即便是正常浏览器,也访问不了,无解。

    当然啦,你也可以通过他们的联系方式联系一下,能解决的话其实都不是什么大问题。
    RangerWolf
    RangerWolf
    Dec 15, 2025
    7
    http://feed.smzdm.com/ 我简单用 curl 尝试了一次 没有触发验证码
    是不是你请求频率太高了?
    maocat
    maocat
    Dec 15, 2025 via Android
    8
    别人都在犯法,为什么我一犯法就被抓,别人是如何避免被抓的
    ronyin
    ronyin
    Dec 15, 2025
    9
    那你可以反向看看那些热榜的网站,他们用了什么代码
    freefreesea
    freefreesea
    OP
    Dec 15, 2025 via Android
    10
    @NewYear 是的,咱俩心路历程一样啊,我也是弄 L 站的,过不了验证,然后 smzdm 也是,偶尔可以访问成功,再就是要么出 403 ,要么出腾讯验证码,还会出别的!难啊兄弟
    freefreesea
    freefreesea
    OP
    Dec 15, 2025 via Android
    11
    @ronyin 他们都是闭源的,收费项目一大堆,咱这做公益站的,人家肯定不会和咱交流
    freefreesea
    freefreesea
    OP
    Dec 15, 2025 via Android
    12
    @RangerWolf 你再试下其他两个看看
    queue
    queue
    Dec 15, 2025
    13
    @freefreesea #4 说明别人没有被发现
    RangerWolf
    RangerWolf
    Dec 16, 2025
    14
    @freefreesea #12 确实 第二个就需要验证了
    zhengfan2016
    zhengfan2016
    Dec 16, 2025
    15
    可以参考下 rsshub 的实现,基本上大部分热门的网站这里都有


    op 这个帖让我想起以前我的帖子
    [大神们,爬虫如何绕过不讲武德的阿里云的云盾] - https://v2ex.com/t/736334
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1108 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 18:26 · PVG 02:26 · LAX 10:26 · JFK 13:26
    ♥ Do have faith in what you're doing.