V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  tootfsg  ›  全部回复第 2 页 / 共 26 页
回复总数  513
1  2  3  4  5  6  7  8  9  10 ... 26  
5 月 15 日
回复了 beimenjun 创建的主题 程序员 AI 时代,尽量开源自己项目的代码
我也是这个想法,与其中转背地里卖,不如共享给所有人。
整个项目的 token 实际支出是多少人民币,文字放置这样的小游戏都这么贵吗
这很明显,是水硬币来了,还真有人上当,一本正经的讨论。
...........让孩童阶段好好玩吧
5 月 11 日
回复了 geeksnail 创建的主题 OpenWrt openclah 配置问题求助
我换 daed 了
5 月 10 日
回复了 davidyin 创建的主题 Local LLM 想折腾一个 AI 主机,请行家出手
@davidyin 用 12g 显存跑本地 llama.cpp ?这是真的吗,我 16g 显存都不够,像 26b 27b 这种 q4km 都 15,16g 了,1,2g 给上下文要极致压缩 kv 类型和特别低的上下文
5 月 7 日
回复了 W2M 创建的主题 生活 有病还是要去看医生
硝酸甘油我知道是心脏缺血急救用的,还能外敷?有什么用,增加局部毛细血管的血液流通吗
5 月 6 日
回复了 zonghow 创建的主题 推广 [抽奖] 哈多肯中转站正式开业啦
id 25
ODg1NTE2NTIwQHFxLmNvbQo
感谢
ODg1NTE2NTIwQHFxLmNvbQo=
这个问题很简单
能拿出 6,7w ,甚至 10w 多人民币买显卡就上 NVIDIA 工作站 pro6000 这种。
能拿出几十万就上 NVIDIA 服务器显卡。
2-3-4w ,还想舒服点跑大模型,等上 m5 pro 的 mac mini/studio 。

5070ti 留着玩 comyui 吧。

据我所知玩模型有两种
1 是训练模型,只能上 nvidia 的显卡。
2 是推理,就是下载别人训练好的模型自己部署使用
2 这种我建议上 mac ,因为 5070ti 价格还行但显存太鸡肋了,5090 24g cuda 核多但显存太小,价格又翻倍,5090 32g 得摸到 3w 人民币了,cuda 核心更多但显存只是 7000 块钱的 5070ti 翻倍,而且又和 nvidia 工作站显卡价格接近了了。

能拿的出钱就买 6w 左右一张的 pro6000 这种,只需要看 nvidia 工作站显卡就行了。
预算低就 3-4w 左右的 m5 mac
再低就继续用 5070ti 跑 27b 以下的 iq4xs 吧。
我感觉个人部署开源模型,唯一高性价比方案就是等 m5 macmini/studuo 出来,3w 左右的配置买一台。

除非是训练模型,那只能用 nv 。
输出慢是因为你用内存跑了,那能快吗.......
我也是 5070ti ,gemna4 26b a4b iq4xs ,速度 150t/s ,上下文开的 64k ,我觉得这个显卡算力一点也不差,差的只是显存。iq4xs 量化倒是还行,但这个量化我不太敢实践用
1  2  3  4  5  6  7  8  9  10 ... 26  
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3181 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 32ms · UTC 12:25 · PVG 20:25 · LAX 05:25 · JFK 08:25
♥ Do have faith in what you're doing.