V2EX › kevan 的所有回复 › 第 6 页 / 共 31 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

1 ... 2 3 4 5 6 7 8 9 10 11 ... 31

❮

❯

6 月 9 日

回复了 roykingH 创建的主题 › 生活 › 3 年以后新冠又找上我了

我上周也是第一天急性刀片嗓,第二天发烧,第三天口腔溃疡,我真是服了,想起来中招之前坐地铁边上有个哥们感冒严重,妈蛋还是要带口罩放毒啊

6 月 9 日

回复了 widowcat 创建的主题 › 程序员 › 现在 ai 能写报表 sql 吗

学习一下.AI 数据分析

6 月 1 日

回复了 frank1256 创建的主题 › Google Gemini › Gemini 学生有人掉了吗

我 21 号收到重验,现在 pro 也能用

5 月 29 日

回复了 zapper 创建的主题 › 淘宝 › 淘宝是不是发狂了？每天打开都要搞一个土鳖特效叫我立即领取 xx 元优惠券，实际上也没优惠什么

京东也一样毫无卵用，送 1888 ，结果各种凑单满减多少，爷不会实际减，迷之，感觉就是美拨款但是又要完成产品 KPI 指标而弄的

5 月 25 日

回复了 haonanaaaaaa 创建的主题 › 程序员 › Gemini 要重新做教育认证了，之前薅了谷歌的羊毛的，谷歌喊你们 5.28 前做教育认证了

我两个号也收到该邮件了, 这 google 开始收网行动了

Please complete the re-verification process by May 28, 2026. If you don't re-verify by this date, your student trial will end and you'll lose access to these benefits.

5 月 20 日

回复了 longxinglink 创建的主题 › Google › Google AI Pro 付费会员在支持地区会自动获得 YouTube Premium Lite

我的 pro 没有...

YouTube and YouTube Music ad-free, offline, and in the background
1-month trial for ¥0 • Then ¥1,280⁠/⁠month • Cancel anytime

Try 1 month for ¥0

5 月 20 日

回复了 Lcy0128 创建的主题 › OpenAI › 问一下佬们 plus 的购买渠道

@wwter123 怎么拼

5 月 9 日

回复了 babymonster 创建的主题 › Local LLM › 我自己的电脑是 5070Ti，总感觉跑一些模型算力不够

@iovekkk 我也是这个配置,跑 27b 都费劲.要想流畅体验只能 9B

5 月 6 日

回复了 KaiWuBOSS 创建的主题 › Local LLM › 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

还是用不了

4 月 28 日

回复了 KaiWuBOSS 创建的主题 › Local LLM › 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

@KaiWuBOSS 下班回家马上试用反馈，我跟进了好久，哈哈哈，必须支持

4 月 28 日

回复了 KaiWuBOSS 创建的主题 › Local LLM › 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

能优化一个 50 系能用的版本吗?

4 月 25 日

回复了 KaiWuBOSS 创建的主题 › Local LLM › 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

@KaiWuBOSS 大佬,为什么我下载 0.1.6 版本还是不行啊??????

>kaiwu run Qwen3-30B-A3B-UD-Q3_K_XL.gguf --reset

██╗ ██╗ █████╗ ██╗██╗ ██╗██╗ ██╗
██║ ██╔╝██╔══██╗██║██║ ██║██║ ██║
█████╔╝ ███████║██║██║ █╗ ██║██║ ██║
██╔═██╗ ██╔══██║██║██║███╗██║██║ ██║
██║ ██╗██║ ██║██║╚███╔███╔╝╚██████╔╝
╚═╝ ╚═╝╚═╝ ╚═╝╚═╝ ╚══╝╚══╝ ╚═════╝
本地大模型部署器 vv0.1.6 · llama.cpp b8864
by llmbbs.ai · 本地 AI 技术社区

[1/6] Probing hardware...
GPU: NVIDIA GeForce RTX 5070 Ti (SM120, 16303 MB VRAM, 896 GB/s)
RAM: 31 GB UNKNOWN
OS: windows amd64
⚠️ CUDA 13.2 detected — known bug with low-bit quantization
If you see garbled output, downgrade driver to CUDA 13.1
Warning: RTX 50 series with CUDA 13.2 detected
Kaiwu will use CUDA 12.4 binary for stability.

[2/6] Selecting configuration...
Model: Qwen3-30B-A3B (moe, 29B total / 2B active)
Quant: Q3_K_M (12.9 GB)
Mode: full_gpu
Accel: Flash Attention

[3/6] Checking files...
Using bundled iso3 binary: llama-server-cuda.exe
Binary: llama-server-cuda.exe [cached]
Model: Qwen3-30B-A3B-UD-Q3_K_XL.gguf [cached]

[4/6] Preflight check...
⚠ RTX 50 系首次启动需要 JIT 编译 (~30s)，请稍候...
llama-server 不支持 iso3 ，回退到 q8_0/q4_0
✓ VRAM sufficient

[5/6] Warmup benchmark...
已清除缓存，重新探测
Probe 1: ctx=8K ... OOM
Probe 2: ctx=4K ... OOM
⚠️ Warmup failed: all ctx probes failed (tried down to 4K)
Using default parameters

[6/6] Starting server...
Waiting for llama-server to be ready (port 11434)...
⚠️ 显存不足，降低上下文至 4K 重试...
Waiting for llama-server to be ready (port 11434)...
Error: failed to start llama-server: 连续 2 次启动失败，即使最小上下文(4K)也无法运行

NVIDIA GeForce RTX 5070 Ti: 16303 MB VRAM
模型 Qwen3-30B-A3B: ~13189 MB
KV cache (4K, q4_0): ~96 MB
预估总需: ~14309 MB

建议:
1. 选择更小的量化 (Q4_K_M 或 Q2_K)
2. 选择更小的模型

Usage:
kaiwu run <model> [flags]

Flags:
--bench Run benchmark after starting
--ctx-size int 手动指定上下文大小（ 0=自动）
--fast Skip warmup, use cached profile
-h, --help help for run
--llama-server string 使用自定义 llama-server 二进制（完整路径）
--reset 清除缓存，重新 warmup 探测最优参数

C:\Kevan\AI\kaiwu-windows-amd64>

4 月 25 日

回复了 KaiWuBOSS 创建的主题 › Local LLM › 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

@KaiWuBOSS 本来没什么欲望的，看到你的介绍感觉焕发新生一样，傻瓜式安装，能不能推荐一下具体安装方法，你说的那些太资深

4 月 25 日

回复了 KaiWuBOSS 创建的主题 › Local LLM › 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

kaiwu.exe run Qwen3-30B-A3B

██╗ ██╗ █████╗ ██╗██╗ ██╗██╗ ██╗
██║ ██╔╝██╔══██╗██║██║ ██║██║ ██║
█████╔╝ ███████║██║██║ █╗ ██║██║ ██║
██╔═██╗ ██╔══██║██║██║███╗██║██║ ██║
██║ ██╗██║ ██║██║╚███╔███╔╝╚██████╔╝
╚═╝ ╚═╝╚═╝ ╚═╝╚═╝ ╚══╝╚══╝ ╚═════╝
本地大模型部署器 vv0.1.2 · llama.cpp b8864
by llmbbs.ai · 本地 AI 技术社区

[1/6] Probing hardware...
GPU: NVIDIA GeForce RTX 5070 Ti (SM120, 16303 MB VRAM, 0 GB/s)
RAM: 31 GB UNKNOWN
OS: windows amd64

[2/6] Selecting configuration...
Model: Qwen3-30B-A3B (moe, 30B total / 3B active)
Quant: ud-q3-k-xl (14.0 GB)
Mode: full_gpu
Accel: Flash Attention + MTP (native)

[3/6] Checking files...
Using bundled iso3 binary: llama-server-cuda.exe
Binary: llama-server-cuda.exe [cached]
Model: Qwen3-30B-A3B-UD-Q3_K_XL.gguf [cached]

[4/6] Preflight check...
llama-server 不支持 iso3 ，回退到 q8_0/q4_0
✓ VRAM sufficient

[5/6] Warmup benchmark...
Probe 1: ctx=8K ... OOM
Probe 2: ctx=4K ... OOM
⚠️ Warmup failed: all ctx probes failed (tried down to 4K)
Using default parameters

[6/6] Starting server...
Waiting for llama-server to be ready (port 11434)...
⚠️ 显存不足，降低上下文至 4K 重试...
Waiting for llama-server to be ready (port 11434)...
Error: failed to start llama-server: 连续 2 次启动失败，即使最小上下文(4K)也无法运行

NVIDIA GeForce RTX 5070 Ti: 16303 MB VRAM
模型 Qwen3-30B-A3B: ~14336 MB
KV cache (4K, q4_0): ~96 MB
预估总需: ~15456 MB

建议:
1. 选择更小的量化 (Q2_K)
2. 选择更小的模型
3. 使用 MoE offload 模型（ experts 放 CPU RAM ）
Usage:
kaiwu run <model> [flags]

Flags:
--bench Run benchmark after starting
--ctx-size int 手动指定上下文大小（ 0=自动）
--fast Skip warmup, use cached profile
-h, --help help for run
--llama-server string 使用自定义 llama-server 二进制（完整路径）
--reset 清除缓存，重新 warmup 探测最优参数

醉了?怎么和介绍的不一样呢?
介绍说 8GB 显存都能跑,我 16G 显存怎么不行啊?

4 月 25 日

回复了 KaiWuBOSS 创建的主题 › Local LLM › 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

大佬,问一下我 5070TI 16GB + 32GB 内存用哪个模型比较合适? 想用来跑小龙虾

4 月 23 日

回复了 intoext 创建的主题 › 业界八卦 › 大忽悠贾跃亭回国了？

回来保证被围剿

4 月 21 日

回复了 dreamererer 创建的主题 › 程序员 › AI 太烧钱了，有什么好的大模型组合方案？

@mnoputd20adfadf3 我注册了 ID: am95bXVzaWNAMTYzLmNvbQo=

4 月 21 日

回复了 stark123 创建的主题 › 问与答 › 求推荐： MP3、蓝牙、物理按键、外放

@stark123 请问这个 pdd 上的播放器是啥型号, 我搜不到谢谢

4 月 20 日

回复了 EasonIndie 创建的主题 › 生活 › 现在还有必要自己组装净水器吗？求推荐低成本滤芯、无桶方案

@baoshu 水垢.

1 ... 2 3 4 5 6 7 8 9 10 11 ... 31

❮

❯