• 请不要在回答技术问题时复制粘贴 AI 生成的内容
PazuLee
V2EX  ›  程序员

关于数据同步的有效性校验

  •  
  •   PazuLee ·
    toutoudnf · Feb 9, 2018 · 2314 views
    This topic created in 3100 days ago, the information mentioned may be changed or developed.
    如题,数据同步,类似定时任务啊实时数据同步之类的,有没有一些好的做数据校验的思路?
    8 replies    2018-02-11 08:58:58 +08:00
    dissvm
        1
    dissvm  
       Feb 9, 2018 via iPhone
    楼下第一眼看成有效性经验的举手🙋‍♂️
    qumingkunnan
        2
    qumingkunnan  
       Feb 9, 2018
    之前有个项目,Java 的。 一个类里面包含常用的校验规则,每个数据表实现一个,然后解析的时候同时校验,没有涉及同步这个事儿,只是校验
    PazuLee
        3
    PazuLee  
    OP
       Feb 9, 2018
    @dissvm 哈哈哈哈哈
    @qumingkunnan 对,其实同步的痛点是怎么保证和源数据的一致,尤其是经过一部分业务逻辑处理的。这个目前只想到查询数据源去比对,但是感觉效率比较低。
    0Kelvin
        4
    0Kelvin  
       Feb 9, 2018
    数据序列化,计算 md5,传递,接收校验。
    没实际操作过,不知道思路对不对,(逃
    qumingkunnan
        5
    qumingkunnan  
       Feb 9, 2018
    @PazuLee 模仿 http 握手机制呢
    PazuLee
        6
    PazuLee  
    OP
       Feb 9, 2018
    @0Kelvin md5 可能存在某些局限性,因为通常存在痛点的场景是对数据做了加工改造,一旦与源数据格式不同可能 MD5 方式就失效了。:(
    PazuLee
        7
    PazuLee  
    OP
       Feb 9, 2018
    @qumingkunnan 这个倒是没有考虑过,怎么讲呢~
    qumingkunnan
        8
    qumingkunnan  
       Feb 11, 2018
    @PazuLee 我们应用场景是提供数据文件包给一些使用方,有客户端服务端,每次传输文件都采用回执方式确认数据完整已达,详细的不是特别了解,因为不开源,对内部都不开源…………
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5860 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 03:10 · PVG 11:10 · LAX 20:10 · JFK 23:10
    ♥ Do have faith in what you're doing.