Livid
403.84D
551.94D
V2EX  ›  Local LLM

用 antirez 的 llama.cpp fork 把 DeepSeek v4 Flash 在本地跑起来了

  •  
  •   Livid ·
    PRO
    · Apr 28 · 6263 views
    This topic created in 193 days ago, the information mentioned may be changed or developed.
    15 replies  •  2026-05-03 22:08:30 +08:00
    Livid
    Livid
    MOD
    OP
    PRO
    Apr 28
    1
    洗车测试也过了,不过从思考过程来看是它知道这是一道 typical 测试题:

    940i3s34v4F1HW41
    2
    赞
    Tink
    Tink
    Apr 28
    3
    是啥硬件跑的呢
    Livid
    Livid
    MOD
    OP
    PRO
    Apr 28
    4
    @Tink M4 128G
    ares001
    ares001
    Apr 28
    5
    实际运行起来占用多少显存?
    Hermitist
    Hermitist
    Apr 28
    6
    sentinelK
    sentinelK
    Apr 28
    7
    相较而言,个人体感还是 Qwen3.6 35B A3B 在 localLLM 上跑的更顺一点,benchmark 评分也是和 v4 flash 互有胜负
    Tathagatagarbha
    8
    向大佬学习
    unnyxi
    unnyxi
    Apr 29
    9
    @sentinelK 如果 Qwen3.6 35B A3B 和 v4 flash 互有胜负,Qwen 3.6 27B 岂不是碾压 v4 flash 了...
    elepant
    elepant
    Apr 29
    10
    跑起来 和 好用,真的是两码事。M4 本地跑 LLM ,响应是真的是慢。。。
    sentinelK
    sentinelK
    Apr 29
    11
    @unnyxi 如果是默认的思考长度的话,是的,但是 27B 目前还打不过 flash 的 max 思考长度
    PeterTanJJ
    12
    Qwen3.6 35B A3B 速度很快,有试过没?

    这个 flah 感觉不如 minimax
    xuhengjs
    xuhengjs
    Apr 29
    13
    期待 qwen3.6-36B-A3B 的终极优化方案
    PeterTanJJ
    14
    @unnyxi 27B 的输出速度不行
    jinsongzhaocn
    15
    @PeterTanJJ 27b 的速度,参数和 post 结构影响很大. 我经历过 11 秒到 1 秒的提速
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1086 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 101ms · UTC 17:07 · PVG 01:07 · LAX 09:07 · JFK 12:07
    ♥ Do have faith in what you're doing.