GeorgeV
V2EX  ›  Claude

从模型蒸馏想到, AI 模型的护城河可能并不深

  •  
  •   GeorgeV · Jun 26 · 4488 views
    This topic created in 132 days ago, the information mentioned may be changed or developed.

    经常看到某家 AI 公司在公开场合上蹿下跳、各种举报投诉中国公司蒸馏了自己家的模型,由此想到可能目前 AI (即使是闭源)模型的护城河其实并不深。若属实,可能很快就会看到目前这种 AI 狂热的泡沫破裂时刻。

    18 replies  •  2026-06-28 17:17:40 +08:00
    linbenyi
    linbenyi
    Jun 26
    1
    就像研究原子弹的人当中也有社会主义者。操作的人未必在意长期股东的利益。
    另外 Fable 和 5.6 不让用了。民转军。不就护城河深些了?
    GeruzoniAnsasu
    2
    bro 以为「护城河」是那些公开能访问到的数据。 我只能说但凡刷刷 deepseek 架构解析的短视频都不至于得出这种结论
    yidinghe
    yidinghe
    PRO
    Jun 26 via Android
    3
    不深,那你觉得有多浅,你意思是国内可以随便冒出几千家做大模型的企业?还是说随便一个本科生就能带领团队做大模型研究?
    bwnjnOEI
    bwnjnOEI
    Jun 26❤️1
    4
    护城河不深和泡沫有什么联系吗?还是你只是想唱衰 llm
    sora2blue
    sora2blue
    Jun 26
    5
    准确来说是闭源模型可能没有我们想象的那么一骑绝尘领先于开源模型,做算法门槛蛮高的
    Ericcccccccc
    6
    不深的话 fable 就没有禁用的逻辑。(它想封禁的对象用一个替代品可以做到完全一样的事情,它禁了寂寞

    特别是 cc 还有生物相关内容的白名单机制。
    lsls931011
    7
    目前 AI 已经应用在我们生活的方方面面,正切实改变我们的生活,为什么还觉得 AI 是泡沫呢
    haiku
    haiku
    Jun 26 via iPhone
    8
    不深为什么腾讯阿里谷歌 Meta 的模型做不到第一

    为什么 Grok 砸了那么多钱结果依然二三流、变成出租集群的生意了
    aireason
    aireason
    Jun 26
    9
    主要护城河是算力、硬件基建
    argentea
    argentea
    Jun 26
    10
    挺深的,grok 就是最好的证明,不深的话马斯克就不可能摆烂把算力租出去了
    YYYeung
    YYYeung
    Jun 27
    11
    那应该是通过木马手段实行的蒸馏
    Librola
    Librola
    Jun 27
    12
    护城河不深跟泡沫有什么关系,要我说,护城河浅反而更能促进几家 AI 公司互相学习、互相竞争,而不是凭借领先直接开摆。可惜 AI 护城河并没那么浅,否则 AI 也不会就那么几家打出名头来。
    AsakiEmura
    13
    不深的话,全球的 ai base model 一定很多国家都在搞吧
    trn4
    trn4
    Jun 27
    14
    蒸馏可以快速接近 80%甚至 90%的专项能力,但是剩下的那 10%-20%就是无法逾越的天堑。
    unusualcat
    15
    护城河不深,为啥 v 站的程序员都钻窟窿打洞非要用上某家 ai 公司的 CC ?他们为啥不用国产的呢?量大管饱还不会动不动就封号不香吗?
    jqh
    jqh
    Jun 27
    16
    有没有可能,真正厉害的模型人家根本不对外开放,听说现在 Anthropic 就已经有内部模型,只提供给少数大厂用,其他人有钱都买不到
    soulflysimple123
    17
    护城河不深其他国家咋不蒸馏一个
    JasonYip
    JasonYip
    Jun 28 via Android
    18
    llm 时代以前 蒸馏是模型轻量化的一个重要方法,那时候蒸馏好的方法可以发顶会的 蒸馏不是想蒸就蒸的 门槛没那么低
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1334 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 47ms · UTC 22:25 · PVG 06:25 · LAX 14:25 · JFK 17:25
    ♥ Do have faith in what you're doing.