跑个 glm 5.2 50 万能够不？
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 141 days ago, the information mentioned may be changed or developed.
 |
sagnitudeJun 17
1
加一两个零吧
|
 |
realpgJun 17
2
想回收残值，就 H200*8 一体机一台或者两台 看实力
想便宜且不怕费电 可以考虑找找渠道的垃圾华为老方案的 910B 两台跑 deepseek v4 pro/flash 可以降低成本 甚至有渠道几十万就能搞定一台 |
 |
fbu11Jun 17
3
参考前两天的这个帖子 https://www.v2ex.com/t/1220819
本地部署的机器要求蛮高的，不如直接买 token ，大概你们想的是安全问题，但自己搭建的真的慢，智商也不太够用 |
 |
elehayym1618Jun 17
4
8 张 h20 勉强能跑吧，光服务器就是 150w 。有这个钱还是充钱买 token 吧
|
 |
MoozLeeJun 17
5
200w 起吧
|
 |
jackOffJun 17
6
50 万你只能淘宝买个 deepseek 2 这种一体机
|
|
realpgJun 17
8
|
 |
jimrokJun 17
9
首先，你这些算卡，3 年折旧下来你就受不了。第二，模型都再更新，刚刚迈入可用的状态。海外的模型，1 万亿参数规模都只是 flash ，mini 级别，刚刚能够用。后续前沿模型出来，参数变大，你这点预算根本抗不下。自己部署没有能力对模型调优，你的成本会非常高，远远高于模型的套餐成本。
|
 |
xiaomushenJun 17
10
具体什么模型？如果是 glm5.1/5.2 这种，5-10 并发至少需要两台 8 卡 H20
|
 |
syubo2810Jun 17
11
本地部署只适合严格保密场景和要自己优化大模型的场景，其他的都是云端便宜，不说硬件随随便便大几百万，电费也是一大笔开销，按 deepseek 的价格，如果用的商电，就真只够电费了，硬件白送了
|
 |
nevin47Jun 17
12
@elehayym1618 5-10 人一台不够，至少 2 台。如果做互连还要再贵点
|
 |
peteretepJun 17
13
才 10 个人，如果不是必须自己搭，完全可以给每个人开 codex 套餐。
能干和干得好，有天大的差别 |
 |
jinsongzhaocnJun 17
15
目前纯本地部署一定不划算，哪怕硬件够便宜了，每天更新模型的人力成本也不省心。最佳组合是本地+云服务。
|
 |
xubeiyouJun 17
16
真建议买 token 。。。。
|
 |
maskerTUIJun 17
18
硬件成本至少要 500W 才能跑完整的 GLM5.2 ，每个月电费至少也要两三万吧。不如直接买 token
|
 |
zlieaJun 17
19
可以按照模型文件大小/0.75 计算跑起来需要的显存。
不量化的版本 1.5T ，估计需要 2T 显存，然后再算价格。 |
 |
PopRainJun 17
20
看了以上说法，token 要涨价，现在在圈地比较便宜😓
|
 |
loryyangJun 17
21
想啥呢，要是能这么搞，还有人买 token 嘛……从性价比来讲，肯定是不行的
当然你一定要说数据隐私问题，那……得加钱 |
 |
coefuJun 17
22
glm5.1 Q8 模型大小 811G ，10 个人并发的 1M context kvcache ，算 Q4 压缩，一个人大概留 100G ，因为 agent 回反复读 context ，那么 10 个人就得 1T 。所以你要准备 2T 左右 gmem 的环境，目前能买到的 H20 单卡 96G ，起码准备 20 张，单机 8 卡，准备 3 台机器。
h20 96G. ebay 上目前大概 8w 一张，卡就要 160w ，算 40w 能搞到 3 台服务器，外加网络。200w 起步，还要自己搞环境，另外电费另算。 |
 |
SolixJun 17 via iPhone
23
电费是大头啊，兄弟，你试试一个月不得烧你个几十万
|
 |
haoofunJun 17
24
划不来的吧，白天都上班抢算力，晚上又没人用，我觉得这个账目前算不过来
|
 |
sn0wdr1amJun 17
25
目前看起来，本地部署，远远没有性价比。
除非预算不限，隐私无限。 |
 |
Co1eJun 17
26
真的贵，因为我是卖 it 硬件产品的，不如买 token 了
|
 |
limusiJun 17
27
给你个市场的参考..
我今天代购了 5 个 Premium, 正儿八经国内公司公对公, 开票和签合同一套下来, 6500/月; 这个是原汁原味的 claude team 账号 换言之 10 个人就是 1 万 3 50 万永久其实可以, 但是明智的老板, 会选择月付, 因为 AI 发展日新月异.. 与其有优惠半价绑死 1 年, 还不如短租保持灵活,随时能跳槽 |
 |
NathanInMacJun 17
28
@limusi 还不是违法。。
|
|
limusiJun 17
29
@NathanInMac 不至于, 吧
|
 |
paranoiaguJun 17 via Android
30
glm 这么大的模型，私有化部署还是算了
qwen 80 那个可以考虑，不要说模型不够聪明🤫🤫 |
 |
m1nm13Jun 17
31
50 万看不起谁呢？没实力就去买 token
|
|
xiaomushenJun 17
32
@limusi 还是灰色的，不合规
|
 |
firefox12Jun 17
33
我想问下 google 那个 gemini 和 chatgpt 都是免费给我们用， 那得准备多少张卡 给全世界一起用啊？
|
|
limusiJun 18
34
@xiaomushen 这还是解释权之争, 意义不大, 我们还是回归真正务实高效的解决问题之上
|
 |
qxmqhJun 18
35
别折腾了，绝对不划算
|
 |
WispZhanJun 18 via Android
36
这个价格租机可以玩几个月，买就算了
|
 |
37
投入几百万的硬件才够部署 deepseek-v4/glm-5.2 满血版，根本不划算啊
用这钱去买 api 够用到天荒地老、海枯石烂了 |
1 |
IpsumJun 18
38
直接买 token 划算。
|
 |
bingoAIJun 18
39
200W 预算以上
|
 |
shm7Jun 18
40
看了下评论，还真有这么干的。政企就算了，私企我只能说活了这么大，什么人都有。
|
 |
owt5008137Jun 18
41
我之前看过开源国模，基本在 300W 左右。然后功率 9000W 以上。
|
 |
roygongJun 18 via iPhone
42
算力中心都跑不明白 glm-5.2 ，别搞私有部署了，有这钱都够买几套房子了
|
Select Language