关于蒸馏，真的会对差不多参数体量的模型性能有很大提升吗？

我只能理解用大参数模型蒸馏出小参数模型，可以显著提升小参数模型的能力。

但我一直有个疑问，现在的开源权重模型已经到万亿参数了，就 a 家说的那几亿调用的数据，拿来用真的能对模型训练起到明显的作用吗？

1 replies • 2026-09-13 14:20:44 +08:00

1

zizon

7 days ago

蒸馏指责这个事情本来就莫名其妙.

RL 本来就是这么干的,一有人污名化之后换个词一群人就跟发现什么一样.

说不好听点,你拿一个能力不行的人用顶级模型跑的 trace 去做 RL,不是有病么.