ydt0728
V2EX  ›  问与答

麻将洗牌 40 张牌跟踪, YOLO+ByteTrack 累积 1942 ID, SAM 2 / Cutie / CoTracker3 哪个能救?

  •  
  •   ydt0728 · May 27 · 2254 views
    This topic created in 168 days ago, the information mentioned may be changed or developed.
    学习项目. 单视角 RGB 1080p@25fps, 洗牌 60-120s, 求洗牌前 → 洗牌后 40 张牌的位置映射.

    数据特点

    40 张牌外观近似, 无 re-ID 特征, 背面同色
    手覆盖 60-80% 帧, 单牌可完全遮挡 1-3s
    频繁翻面, 严格目标数上限 = 40
    已试 + 失败

    YOLO11-Seg 检测 ✓ 静态准, 密集叠加漏
    ByteTrack ✗ 60s 累积 1942 ID (理应 40), 卡尔曼+IoU 假设被遮挡彻底破坏
    匈牙利 + lost-recovery 跨段匹配 ✗ 中段 cost matrix 退化为噪声
    人工逐帧 fallback ✓ 但 60 min/副, 成本太高
    在看的方案 SAM 2 video predictor / Cutie / DAM / MASA / CoTracker3 / TAPIR / HaMeR (3D 手部 pose) / ProPainter (擦手部)

    求建议

    玩过 SAM 2 / Cutie / CoTracker3 实战, 或做过 surgical instrument tracking / 同队服球员跟踪 / shell game 视觉问题的同行 — 哪条路在"40 个相似目标 + 持续遮挡"这个 regime 最稳? 论文 / 代码 / 工程踩坑都欢迎. 评论或私信均可.
    16 replies  •  2026-05-28 22:42:58 +08:00
    thedog
    thedog
    May 27
    1
    你们是在做老千牌桌吗
    thedog
    thedog
    May 27
    2
    真是赚钱的项目
    ydt0728
    ydt0728
    OP
    May 27
    3
    @thedog 老千牌桌就不需要用这么复杂的视觉了。直接标记或者 frid 芯片了。纯研究
    Perchouli
    Perchouli
    May 27
    4
    好玩,想起之前看过的一个研究:vetbench.github.io Can Vision-Language Models Solve the Shell Game
    它是用三仙归洞的案例,和 [遮挡+目标跟踪] 这个类似。不过它是想说 LLM 对于状态记忆的问题,提出了 SGCoT ,类比麻将就是记住牌的 [物体的运动轨迹] 。40 张麻将牌要复杂得多,我不是做 CV 的,不太懂。
    Tink
    Tink
    May 27
    5
    有兴趣,关注关注
    sduoduo233
    sduoduo233
    May 27 via Android
    6
    有示例视频吗 想试试
    moudy
    moudy
    May 27
    7
    这个不抗麻将机攻击啊
    ydt0728
    ydt0728
    OP
    May 27
    8
    @sduoduo233 V:YnB0ODE4==
    tywtyw2002
    tywtyw2002
    May 28 via iPhone
    9
    你先手动试试能不能追踪明白。手动能追踪明白在上 AI 。
    否则最后经过几次轨迹概率分析叠加后,结果几乎不可用。
    Tink
    Tink
    May 28
    10
    @tywtyw2002 正文里不是写了人工通过了么
    minmini
    minmini
    May 28
    11
    @thedog #1 做在眼镜上面,云(手机)端计算
    ydt0728
    ydt0728
    OP
    May 28
    12
    @minmini 现实都是麻将机 不是手洗呀 哈哈
    tywtyw2002
    13
    @Tink 问题是人工能达到 100%的精确度吗?还是说精确度有多少。

    麻将洗牌的时候,完全可以做到 2-3 张牌在被手完全盖住的情况下,调换位置,这个完全没法追踪,只能概率实现。


    以前做停车场汽车追踪的时候,同型号汽车不按照车牌识别,但是经过遮挡路段就会完全丢失,只能根据速度和车流时间去猜,猜测结果还不如随机数(可能是水平太差)。最后还得上车牌识别才能追踪。
    ydt0728
    ydt0728
    OP
    May 28
    14
    @tywtyw2002 是的问题就是 有时候会短暂遮挡,然后再出现的时候 要怎么定位跟踪
    ydt0728
    ydt0728
    OP
    May 28
    15
    @tywtyw2002 可以 V:YnB0ODE4== 我发点视频素材给你 给点建议可以吗
    tywtyw2002
    16
    @ydt0728 我搞不出来,没怎么研究这个领域。

    有可能就是找特征,麻将的质地应该是不均匀的,可能在特定光谱下,会有特征。这个入手是最容易实现的。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4855 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 49ms · UTC 03:23 · PVG 11:23 · LAX 19:23 · JFK 22:23
    ♥ Do have faith in what you're doing.