Home Sign Up Sign In
hktony
V2EX  ›  Redis

千万级数据的去重的性能问题，欢迎一起讨论！

  •   
  •   hktony · Aug 2, 2015 · 7032 views
    This topic created in 4019 days ago, the information mentioned may be changed or developed.
    场景：需要对redis中的不同的千万级set集合之间做去重，一直使用sdiff，但是随着数据量的增大，sdiff命令变得越来越不可靠，容易导致cpu过高，导致redis长时间无响应。
    目前redis已经做了一致性哈希的分片，16台redis节点集群，每个set集合平均分到16台redis节点上。除了横向扩展，是否有更为高效的去重方案取代redis的sdiff命令？
  • Redis
  • sdiff
  • 节点
    8 replies  •  2015-09-05 17:50:57 +08:00
    kslr
        1
    kslr  
       Aug 2, 2015
    允许有误差么？ 可以看看布隆过滤器 （ 3亿级的数据正在用
    zhicheng
        2
    zhicheng  
       Aug 2, 2015   ❤️ 1
    允许多大的误差？可以看看 HyperLogLog https://en.wikipedia.org/wiki/HyperLogLog
    fszaer
        3
    fszaer  
       Aug 2, 2015
    @zhicheng
    然而 redis中的 HyperLogLog 只能求近似基数
    如何应用到去重中？？？
    Lax
        4
    Lax  
       Aug 3, 2015
    @fszaer HLL 可以根据返回值判断是否已经被计数过。
    jiehuangwei
        5
    jiehuangwei  
       Aug 3, 2015
    去重用这个 Bloom Filter
    hktony
        6
    hktony  
    OP
       Sep 1, 2015
    @kslr 不允许有误差， bloom filter 算法误差率最低可以控制在多少？
    @jiehuangwei bloom filter 可以对两个不同集合之间做差集吗？
    kslr
        7
    kslr  
       Sep 1, 2015
    @hktony 这个需求适合 redis 的集合
    hktony
        8
    hktony  
    OP
       Sep 5, 2015
    @kslr 现在其实就是用 redis 的 set 集合两两做差集做的
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   984 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 35ms · UTC 22:06 · PVG 06:06 · LAX 15:06 · JFK 18:06
    ♥ Do have faith in what you're doing.