Home Sign Up Sign In
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  zhongdenny  ›  全部回复第 1 页 / 共 1 页
回复总数  2
2025 年 2 月 8 日
回复了 mingtdlb 创建的主题 › Local LLM › LLM 私有化部署
@mingtdlb ollama 的默认 671b ，400G 大小，好像写着是 4 比特量化版本。官方版本 163 个 4G 的文件，合计大概 700G 。
2025 年 2 月 8 日
回复了 2067 创建的主题 › Local LLM › 有没有富哥实际部署了 671b 完全体 R1 的来说说跟 llama3.1:405b 的性能有多大进化
@nagisaushio 你是用 ollama 还是 llama.cpp 来运行的？
我用了 2.22bit 的版本，llama.cpp ，8 卡 4090 ，跑到 3 token/s 。
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1051 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 10ms · UTC 22:48 · PVG 06:48 · LAX 15:48 · JFK 18:48
♥ Do have faith in what you're doing.