This topic created in 520 days ago, the information mentioned may be changed or developed.
18 replies • 2025-08-16 12:45:42 +08:00
 |
ihainanJun 5, 2025
1
多大的模型。
|
 |
atom42Jun 5, 2025
2
mac mini ?
|
 |
3
@ihainan 效果比较好的
|
|
4
@ihainan 比如可以跑 gemma3 27b
|
 |
coefuJun 5, 2025
5
在线 api 。
|
 |
6
不考虑改装显卡的话，4060ti 16G ？或者 3060 12G ？不过这些都跑不了 32B 模型，撑死了 14B 。Mac mini 用 36G 统一内存能跑 32B 模型，但是速度据说很慢的。
|
1 |
xziarJun 5, 2025
7
来两张 16G 的卡开 TP 跑呗，4bit 能开很长的上下文了
|
 |
8
gemma3 27b 啊。M4Pro 吧
|
 |
defaqmanJun 5, 2025
9
4080 我感觉挺不错的，显存以及性能都不错
|
 |
murmurJun 5, 2025
10
本地大模型纯玩具啊，量化模型效果差的 1b ，不如去买 api ，还是画画涩图，处理下音乐提取个伴奏靠谱点
但是人家也是 NV+win 就是一键包，什么环境不需要双击就用，mac 对不起自己折腾代码去吧 |
|
11
好家伙🤭，标签给推荐了 3090 ，查了下是 24G 显存，能跑 gemma3 27b 量化版本
|
 |
12
魔改的 2080ti 22g 2000 多，应该是最便宜的单张显存，刚好够跑 flux 模型
|
 |
YsHaNgJun 5, 2025 via iPhone
13
@murmur 公司禁止使用 public provider 并且个人文档经常需要召回护照号之类的还是算了 ollama run 一下也没啥难的 发现中美真的非常喜欢调 api
|
 |
14
@lemonTreeTop 2080ti 22G 不仅可以跑，还快，上下文还多
|
 |
mumblerJun 5, 2025
15
2080 ti 22G 没有之一，2500 元左右，支持 nvlink 两块并联 44G
|
|
mumblerJun 5, 2025
16
@murmur #10 这个观点已经非常落后了，本地有本地的场景，比如合同审核，本地用 qwen3 30B 都做得非常好了，纯 CPU 就能流畅运行，哪个公司的合同敢传云端 API 去处理
|
 |
CoffeeYJun 11, 2025
17
纯显卡层面说的话，性价比高的应该是 2080ti 22G 了，还可多卡 nvlink
|
Select Language