V2EX › tootfsg 的所有回复 › 第 1 页 / 共 26 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

1 2 3 4 5 6 7 8 9 10 ... 26

❮

❯

5 月 22 日

回复了 schen1027a1 创建的主题 › MacBook Pro › 二手 m1pro 抉择，佬们帮忙看看

5 月 20 日

回复了 tootfsg 创建的主题 › Local LLM › 关于 5070ti 模型推理的速度和本地部署思考

@uprit 设置-ngl 99 ，不全量加载到显存，启动是直接报错退出的，根本不会使用内存。
你是用 ai 自动回复的吗，怎么和网页版 gemini 给我的感觉太相似了，那种降智感，一模一样。
模型接近 16g... 我上面发了模型占 13.3g 。

5 月 20 日

回复了 tootfsg 创建的主题 › Local LLM › 关于 5070ti 模型推理的速度和本地部署思考

@uprit 我刚才用 cuda13.1 重新编译了最新 llama.cpp ，发现问题了，不是 cuda 版本问题，是上下文问题。
我在之前的 chat 上继续问一开始也是 10t/s ，然后我开新 chat ，速度刚开始有 45t/s ，随着输出速度越来越低，完成任务最后 32.08t/s ，总共 1424tokens ，44s 。
然后我问了第二个问题，刚开始有 22t/s ，速度也是随着输出越来越慢，完成后 17.72t/s ，1813tokens ，1min 42s 。
两个问题都是编程相关问题，实现某个小功能。
到此，原因总算是真相大白，水落石出了。

5 月 20 日

回复了 tootfsg 创建的主题 › Local LLM › 关于 5070ti 模型推理的速度和本地部署思考

说起稠密模型，前些天 mistral 发布了一个 110b 的稠密模型，大的吓人，我想试试，可是中转都买不到。

5 月 20 日

回复了 tootfsg 创建的主题 › Local LLM › 关于 5070ti 模型推理的速度和本地部署思考

@uprit 稠密模型特别耗算力，光纸面比较就比 26b a4b 高了 6 倍算力需求。

5 月 20 日

回复了 tootfsg 创建的主题 › Local LLM › 关于 5070ti 模型推理的速度和本地部署思考

@uprit 没爆显存，我所有模型都开-ngl 99 的，我 cpu 很低，10t/s 都跑不了的，而且爆了直接启动不了的，光上下文调了很多次的。
不过确实慢了，我记着以前好像是 20 多 t/s 的。我怀疑可能是 cuda 的版本问题，我电脑有 13.1 和 13.2 ，但是 13.2 有人提起过可能有问题。

启动参数 ngl 99 ，fa on ，jinja ，ctk q8 ，ctv q4 ，np 1 ，c 25600 ，启动后占用显存 15193 ，模型 13302 ，上下文 1625 。

我 cpu 是 12400f 和 ddr4 ，这个跑不了 10t/s 吧
唯一的可能就是可能指定了 cuda13.2 编译 llama.cpp 。

5 月 19 日

回复了 tootfsg 创建的主题 › Local LLM › 关于 5070ti 模型推理的速度和本地部署思考

可以看出，统一内存只适合 MoE

5 月 16 日

回复了 ytgui 创建的主题 › 分享创造 › Qwen3.5-Sonnet-9B: 专为 Coding Agent 蒸馏的 9B 小模型

好奇，这种和 gemma4 26b a3b 的 iq4xs 量化这种对比哪个好，尺寸可以说一样大。

5 月 15 日

回复了 beimenjun 创建的主题 › 程序员 › AI 时代，尽量开源自己项目的代码

我也是这个想法，与其中转背地里卖，不如共享给所有人。

5 月 15 日

回复了 kepenj 创建的主题 › 游戏 › Vibe 了一个文字放置摸鱼游戏，欢迎老哥们品鉴。

整个项目的 token 实际支出是多少人民币，文字放置这样的小游戏都这么贵吗

5 月 11 日

回复了 himawari8 创建的主题 › 职场话题 › AI 直接写机器码目前是否可行？一朋友公司准备下半年全面开始推广机器码开发

这很明显，是水硬币来了，还真有人上当，一本正经的讨论。

1 2 3 4 5 6 7 8 9 10 ... 26

❮

❯