 |
clemente🏢 leftrightmovehands V2EX member #455659, joined on 2019-11-26 18:13:05 +08:00Today's activity rank 23195 |
givemefive
cachemineshot
 |
Per clemente's settings, the topics list is hidden |
Deals info, including closed deals, is not hidden
clemente's recent replies
2 days ago Replied to a topic by sunxfancy › 程序员 › 现在 AI 是不是逐渐能取代很多高水平程序员了 |
6 days ago Replied to a topic by qwzhang01 › 程序员 › 做模型训练、蒸馏门槛高吗 |
1. 模型训练包含前向算子、反向算子以及分布式通信开销，算子数量是推理的 3 倍以上，对应的技术栈与资源需求也高于推理部署。
2. 工程落地里很多蒸馏方案，本质就是遍历 高质量的领先模型的问题回答数据，对基模做后训练。
3. 同规模模型训练所需 GPU 资源远超推理。通常要 8 卡 x16 集群来训练
4. 修正：实际差距可达十几倍。因为线上推理普遍使用量化模型，而训练需要维持 BF16 精度。
2. 工程落地里很多蒸馏方案，本质就是遍历 高质量的领先模型的问题回答数据，对基模做后训练。
3. 同规模模型训练所需 GPU 资源远超推理。通常要 8 卡 x16 集群来训练
4. 修正：实际差距可达十几倍。因为线上推理普遍使用量化模型，而训练需要维持 BF16 精度。
6 days ago Replied to a topic by qwzhang01 › 程序员 › 做模型训练、蒸馏门槛高吗 |
6 days ago Replied to a topic by qwzhang01 › 程序员 › 做模型训练、蒸馏门槛高吗 |
gpu 也是推理一个同规模模型需求的三倍以上
6 days ago Replied to a topic by qwzhang01 › 程序员 › 做模型训练、蒸馏门槛高吗 |
蒸馏其实就是扫 qa 数据然后做后训练
6 days ago Replied to a topic by qwzhang01 › 程序员 › 做模型训练、蒸馏门槛高吗 |
是推理部署技术栈和资源需求的 3 倍以上
因为反向算子+前向算子+分布式通信库 的算子数 是推理的三倍 这是数字上的对比
因为反向算子+前向算子+分布式通信库 的算子数 是推理的三倍 这是数字上的对比
6 days ago Replied to a topic by blackantt › 程序员 › 为什么 google 在 AI 编程模型方面落后了呢？ 印象中， google 无所不能，集中了全球顶尖的人才，也不缺钱，怎么在 AI 编程方面老是处于追赶的地位呢？ |
g 家的人才密度 不是搞这块的料
组织结构才是最关键的
组织结构才是最关键的
Select Language