V2EX › diudiuu 的所有回复 › 第 14 页 / 共 39 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

1 ... 10 11 12 13 14 15 16 17 18 19 ... 39

❮

❯

5 月 7 日

回复了 diudiuu 创建的主题 › Local LLM › 自己做了一款在线 GPU 推理速度计算器 · TPS Calculator

@leven87 改了也不知道对不对，可以再试下

5 月 7 日

回复了 Hermitist 创建的主题 › Local LLM › 推荐一个 GPU 推理速度计算器, 可能方便买配件自建本地大模型的人用上

@midraos
https://tps.bunai.cc/?gpus=rtx5080%3A1&ic=nvlink5&model=qwen3_6_35b_a3b&quant=int6&ctx=16384&pl=1024&ol=1024&fw=llamacpp&pcie=gen5&co=1&pw=x16

其实系统已经有这个逻辑，判断有点问题，已经修复了
详细可以看 https://github.com/adiudiuu/tps/issues/2 这个，我已经总结了

多提问题就当学习了

5 月 6 日

回复了 Hermitist 创建的主题 › Local LLM › 推荐一个 GPU 推理速度计算器, 可能方便买配件自建本地大模型的人用上

@midraos 有个疑问采用--n-gpu-layers 还是--n-cpu-moe 这个哪个参数,我用公式--n-cpu-moe 理论跟你的差不多,希望能给看下真实的部署参数,目前是按照--n-gpu-layers 分层计算的

可以把图 https://github.com/adiudiuu/tps/issues 放在这

5 月 6 日

回复了 Hermitist 创建的主题 › Local LLM › 推荐一个 GPU 推理速度计算器, 可能方便买配件自建本地大模型的人用上

@midraos
https://tps.bunai.cc/?gpu=rtx5080&ic=nvlink5&model=qwen3_6_35b_a3b&quant=int3&ctx=16384&pl=1024&ol=1024&fw=theory&pcie=gen4&co=1

我在别人得帖子回复我得东西，老哥你采用什么方式部署得 nvidia 5080 ，我看理论是 39

5 月 6 日

回复了 SzgSw5zGyN1iy 创建的主题 › Local LLM › DGX Spark、ASUS GX10、MSI EdgeXpert 看起来都像是一个母胎的产品，用起来有差别吗？

https://www.v2ex.com/t/1195382

5 月 6 日

回复了 Hermitist 创建的主题 › Local LLM › 推荐一个 GPU 推理速度计算器, 可能方便买配件自建本地大模型的人用上

@shiyuu 兄弟看下参数，模型还有先看我去看下实际效果

5 月 6 日

回复了 SzgSw5zGyN1iy 创建的主题 › Local LLM › DGX Spark、ASUS GX10、MSI EdgeXpert 看起来都像是一个母胎的产品，用起来有差别吗？

DGX Spark 不好，可以看我帖子