现在有哪个 LLM 已经部署在手机/PC 设备上么（CPU），效果还不错的那种

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

This topic created in 728 days ago, the information mentioned may be changed or developed.

如题，有哪个还不错的 LLM ，目前可以部署在手机（最新 CPU 手机）或者本地 PC 上么？现在希望 embed 到一些 app 里

6 replies • 2025-01-03 20:50:05 +08:00

rus4db

Nov 9, 2024

不妨看看我做的小玩具，浏览器上推理的：
https://github.com/bd4sur/Nano

annoygaga

Nov 9, 2024

没人么？

annoygaga

Nov 9, 2024

@rus4db 赞啊，我看模型大小几百 MB

EscYezi

Nov 9, 2024 via Android

现在 google 在推 gemini 移动端部署，不知道效果如何

annoygaga

Nov 9, 2024

@EscYezi 好像一般般

neoWang

Jan 3, 2025

看到答主 8 年前的帖子，答主最后出国了嘛