sdjl
V2EX  ›  问与答

有没有办法第一时间获得国内各大新闻网站发布的文章?(5 秒内)

  •  
  •   sdjl · Sep 27, 2024 · 4143 views
    This topic created in 768 days ago, the information mentioned may be changed or developed.
    如题,需要监控各大新闻网站,如腾讯新闻、网易新闻等等,可能上百个。

    有没有办法在这些网站发布文章的几秒内就能获得文章推送?(对方发布的所有文章)

    主要是有个客户向我提出这个需求~~我也不知道可不可以,问问大家。
    24 replies  •  2024-09-30 20:51:42 +08:00
    Yishanshan
    Yishanshan
    Sep 27, 2024
    1
    舆情系统?
    penisulaS
    penisulaS
    Sep 27, 2024
    2
    不就是 rss 吗,当然,某些网站没有也可以自己配置
    https://docs.rsshub.app/zh/guide/
    sdjl
    sdjl
    OP
    Sep 27, 2024
    3
    @kzfile 这个是主动推送吗? 需要 3 秒内及时推送。
    penisulaS
    penisulaS
    Sep 27, 2024
    4
    @sdjl 是用户主动拉数据.如果你自建服务,缓存过期时间可以自己调,缓存已过就从对应服务获取最新的
    sdjl
    sdjl
    OP
    Sep 27, 2024
    5
    @kzfile 如果我一秒钟拉取一次,不会被对方封 IP 么?
    sdjl
    sdjl
    OP
    Sep 27, 2024
    6
    也可以购买第三方的服务哈,如果有的话。
    renmu
    renmu
    Sep 27, 2024 via Android
    7
    @sdjl 肯定会啊
    GG668v26Fd55CP5W
    GG668v26Fd55CP5W
    Sep 27, 2024 via iPhone
    8
    这不就是爬虫吗?怕封就搞 ip 池
    sdjl
    sdjl
    OP
    Sep 27, 2024
    9
    @falcon05 爬的成本太高,就是看看有没有其他方案
    QUC062IzY3M1Y6dg
    QUC062IzY3M1Y6dg
    Sep 27, 2024
    10
    @kzfile #2 rss 有延迟,秒级响应不可能做到的
    shadowyue
    shadowyue
    Sep 27, 2024
    11
    你把新闻 APP 的推送通知打开,大新闻会给你推
    gechang
    gechang
    Sep 27, 2024❤️1
    12
    秒级获取需要投入 ip 池,否则肯定被封,人家也不可能让你白嫖
    sdjl
    sdjl
    OP
    Sep 27, 2024
    13
    @shuxhan
    @gechang

    是的,我也是这样认为的。但是客户让我问问有没有解决方案,我来找大家帮帮忙。
    googlefans
    googlefans
    Sep 27, 2024
    14
    不怕报警吗?打击这种未经同意恶意爬取的
    wzbrbj
    wzbrbj
    Sep 27, 2024
    15
    TG 的新闻频道还不够你用么?
    geekyouth
    geekyouth
    Sep 27, 2024
    16
    今日热榜官网,满足你的需求
    https://tophub.today/
    crysislinux
    crysislinux
    Sep 27, 2024 via Android
    17
    这种肯定只能一直爬。别人有更新又不会告诉你
    a1b2c3T
    a1b2c3T
    Sep 27, 2024
    18
    @wzbrbj #15 一开始我订阅了好多新闻频道,还有 rss 也弄了好多,后来发现没啥屌用,少看点新闻 哪怕几个月半年不看对自己的生活没有一点影响==,后来就想起来去翻一翻
    luodeyitian
    luodeyitian
    Sep 27, 2024
    19
    正常的新闻发布没那么高的频率,哪怕财联社的电报平均也得 20 秒一个。而且你去爬别人的新闻肯定要加 ip 池的。
    YJi
    YJi
    Sep 27, 2024
    20
    上百个平台全量数据么? (全量肯定做不到)
    还是针对特定频道,特定用户的定向监测?比如某些官媒,某些大 V 这种。
    apple
    apple
    Sep 27, 2024
    21
    这种级别的爬虫,属于违法范围了
    people0000future
    people0000future
    Sep 28, 2024
    22
    可以参考一下隐订阅 https://yinrss.com/?media=&keyword=
    sdjl
    sdjl
    OP
    Sep 28, 2024
    23
    @apple 法律有规定怎么爬算违法? 怎么爬不算违法?
    apple
    apple
    Sep 30, 2024
    24
    这种级别的爬虫,属于违法范围了
    @sdjl 你检索一下类似关键词:破坏计算机信息系统罪
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2930 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 52ms · UTC 10:58 · PVG 18:58 · LAX 02:58 · JFK 05:58
    ♥ Do have faith in what you're doing.