Home Sign Up Sign In
NoKey
V2EX  ›  Java

有没有啥办法能保证后端服务异步执行的数据在服务重启的时候不丢失

  •   
  •   NoKey · Oct 12, 2023 · 3810 views
    This topic created in 1124 days ago, the information mentioned may be changed or developed.
    今天在写异步服务，基于 springboot 框架的
    写着的时候，想起来一个事情
    比如有个处理数据的异步逻辑，产生了一定量的异步任务
    然后，这个时候服务重启了
    异步执行里面的数据肯定就丢了
    有啥办法能保证服务重启的时候，数据不丢呢？
    如果线程池有队列，那么队列里面的也会全丢失
    处理前先把未处理的数据存储了，然后处理后移除？
    有没有比较好的策略呢？
    谢谢。
  • 异步
  • 队列
  • 重启
  • 数据
    12 replies  •  2024-03-11 14:49:47 +08:00
    opengps
    opengps
    Oct 12, 2023
    1
    参考分布式锁的超时设计：
    额外用一个消息队列或者第三方公共缓存服务，标记下某个任务进入正在处理状态，设定上一个安全合理的正常处理超时，真超时可能是丢失了，重新处理一遍就行
    night98
    night98
    Oct 12, 2023
    2
    上 mq ，不然自己实现更麻烦。或者加个类似 sqllite 的本地数据库。
    lsk569937453
    lsk569937453
    Oct 13, 2023
    3
    所以有了 mq 啊
    bill110100
    bill110100
    Oct 13, 2023
    4
    mq 记录任务，确定消费成功再从 mq 里去除。
    NoKey
    NoKey
    OP
    Oct 13, 2023
    5
    如果用 mq 的话，那么一个后台服务很多场景都会用到 mq 了，会不会很重啊
    Aresxue
    Aresxue
    Oct 13, 2023
    6
    mq or 定时任务
    mmdsun
    mmdsun
    Oct 13, 2023
    7
    任务调度框架？ Spring Batch 、xxl-job 、PowerJob
    hdfg159
    hdfg159
    Oct 13, 2023
    8
    消息队列
    j1132888093
    j1132888093
    Oct 13, 2023
    9
    建个通用的任务表，处理完了标识一下
    trzzzz
    trzzzz
    Oct 13, 2023
    10
    不想引入 mq ，就得找个地方存起来，存数据库，执行完更新下状态
    heqingpan
    heqingpan
    Oct 14, 2023 via Android
    11
    一定要找个地方存起来才行，不然重启在内存的数据就没了。

    可以用 mq 也可以用通用任务表（用完标记删除或物理删除都可以），特定场地存本地文件也可以。
    40xEQBKvMvxaRO8y
    40xEQBKvMvxaRO8y
    Mar 11, 2024
    12
    一个简单的处理办法，重启的时候指定所谓的优雅停止，也就是说不要 kill -9 ，kill -2 + sleep 10 秒，来让应用处理正在执行的任务同时停止外部新请求的进入，然后再加上单独的定时任务服务或者建个任务表定时扫描的形式
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   963 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 56ms · UTC 19:28 · PVG 03:28 · LAX 11:28 · JFK 14:28
    ♥ Do have faith in what you're doing.