https://github.com/Edge0-AI/Edge0 Device-native foundation models: 145B on a laptop, 35B on a phone. Latent MoE, SSD-streamed weights, a router that predicts loads a step ahead. Mac, iPhone, Android, Windows.
感觉这个,加上一些订阅的模型 可以省很多成本啊
https://github.com/Edge0-AI/Edge0 Device-native foundation models: 145B on a laptop, 35B on a phone. Latent MoE, SSD-streamed weights, a router that predicts loads a step ahead. Mac, iPhone, Android, Windows.
感觉这个,加上一些订阅的模型 可以省很多成本啊
|
hanguofu9h 5m ago via Android
1
好消息!需要多大显卡?
|
|
2
16 到 24 的都可以
当然越高越好 |
|
R1ta8h 6m ago
3
可以多并行吗?
|
|
sentinelK7h 6m ago
4
分和 QFN 基本一致,性能也基本一致,参数也差不了多少。
这感觉好迷。不知道推理架构是否和 strata 一致?conversation-cache 怎么处理的?热缓存、温缓存和 strata 的处理有差异吗,我看作者没有仔细陈述。 |
|
jinsongzhaocn1h 24m ago
5
这就放弃 30,40 系列了
|