想离线运行下大模型玩玩，有几个问题比较纠结，请教下各位大佬 1.现在还能搞到 4090 么？有啥便宜靠谱的渠道么？ 2.4090 和 4090d 差距有多大呢？ 3.入手 4090 还是等等 5090
This topic created in 945 days ago, the information mentioned may be changed or developed.
 |
dcalskyApr 7, 2024
1
现实：4090 只能跑 13B ，且无法 finetune 。
|
 |
rqYzyAced2NbD8fwApr 7, 2024
2
你是要运行多"大"的模型...
实测咸鱼三百块的 P4 显卡可以流畅运行 gemma 7b, 生成速度没统计，但是差不多是 GPT4 的两倍。想要跑再大一点的模型多查几张 P4 或者换 P40 都可以的吧。。 |
 |
444571840Apr 7, 2024
3
本地能跑的大模型（ 13B 以下的），基本和弱智一下，胡编乱造。。。
|
 |
TabGreApr 7, 2024 via iPhone
4
要跑 SD 需要什么显卡？ 出图不卡顿
|
 |
5
我有两张 A100 。
如果楼主只是玩玩，可以去租算力，算力租赁平台很多，技术也比较成熟了 |
1
 |
jmc891205Apr 7, 2024
7
192G 的 M2 ultra 的 Mac Studio
或者等 256G 的 M3 ultrl |
 |
ichouApr 7, 2024
8
https://featurize.cn/ 玩一下的话，建议租一个
|
 |
JayZXuApr 7, 2024
9
个人部署的离线大模型的话，性价比最高的应该还是 M40 24G 版本的
只是运行大模型的话，显存足够大能加载模型就行，速度其实都是次要的 如果微调或者训练模型的话，一张 4090 也不太行，少说也要准备 100G 以上才能得到比较理想的效果 所以如果真的不是能有确定的项目收入，不如直接租个服务器玩玩算了，大多数情况下，直接调用各个收费模型免费的 API 额度都比自己搭的模型靠谱 |
 |
waityanApr 7, 2024
10
我的笔记本 i5 都能勉强跑得动 7b 的模型，用 ollama
|
 |
12
玩玩的话可以考虑租用，有很多算力租用平台，不过谨防跑路，谨慎甄别，祝顺利
|
|
rqYzyAced2NbD8fwApr 8, 2024
14
|
 |
kwaterApr 8, 2024
15
离线运行，纯推理 chat ？
可以试试 模型类型+ benchmark 关键字 找到你能接受的性价比。 单片 4090 有 model 容量天花板，容易见顶完全不能用， 反而 ram 64-128g 的话可以天花板更高点 |
 |
psluciferApr 8, 2024
17
A100 可以吗？
|
 |
lingeoApr 8, 2024
18
@Leonkennedy2 我看了 A100 的参数，互连上面写的是 nvlink * 2 是只支持两块互连吗？
|
|
8E9aYW8oj31rnbOKApr 8, 2024
19
@lingeo 是的，单个接口 nvlink * 2 ，最多可以 2+2 ，4 块互联
|
Select Language