BingoXuan

R.I.P. 也许写信个 tim cook 更有效，但前提是怎么这台手机是你妻子购入或者所有的

@JimLee0921
完全是过度优化了。fastapi 性能没那么不堪，而且 agent 都是重 io 的。套一层 go 并不会提高性能。反而降低了可观察性。有这个时间应该把 fastapi 的可观察性提高，确认性能瓶颈和找 bug 而不是盲目换语言。如果架构足够清晰，第一点既不是问题。llm 返回的流如何缓存，用户网络抖动断开重连如何恢复等细节都会处理好。换语言不影响架构，尤其现在 LLM 重写有太多成功例子。

1. llm 返回的流数据可以传给任何流，你可以选用 NATS 或者其他消息队列，返回给用户时候变成 SSE
2. agent 生成的东西不应该保存到数据库，而是考虑保存到 S3 这类存储服务
3. 我看完了也没搞清楚 go 部分到底要干嘛？如果本身功能角色不清晰，和任何系统对接都会变成一坨不可名状的东西

@mingtdlb

显存够用那就直接原版 fp8 ，我用 nv 的 nvpf4 量化，体验比 unsloth 的好

podman run -d --rm \
--name vllm-qwen36-27b \
--device nvidia.com/gpu=all \
--ipc=host \
-p 8000:8000 \
-v $HOME/work/models/Qwen3.6-27B-NVFP4:/models:ro \
vllm/vllm-openai:latest \
--model /models \
--served-model-name qwen3.6-27b \
--dtype bfloat16 \
--kv-cache-dtype fp8_e4m3 \
--max-model-len 147456 \
--max-num-batched-tokens 4096 \
--max-num-seqs 4 \
--enable-chunked-prefill \
--enable-prefix-caching \
--enable-auto-tool-choice \
--tool-call-parser qwen3_xml \
--reasoning-parser qwen3 \
--gpu-memory-utilization 0.95 \
--trust-remote-code \
--attention-backend FLASHINFER \
--override-generation-config '{"repetition_penalty": 1.05}' \
--speculative-config '{"method":"mtp","num_speculative_tokens":3}'

@mingtdlb
27B 是 dense ，比起 3.6 的 35B MoE 在代码上还是强得多，体验过就知道了。我测试 llm 都是让 llm 使用 webgpu 实现虚拟示波器。27B 可以实现，需要多跑几轮和更多思考 token 。deepseek v4 flash 甚至第一轮就开始各种报错。这几个月体验下来，27B 可以应付 10k 的小项目。小需求改动或者找 bug 甚至比起 codex 降智的 5.4 要好用（比 copilot 的 5.4 强不少，主要 copilot harness 不行，现在还贵）。最重要是无限输入，等于无限制用 llm 进行索引

@imruiming
是的。但我跑本地模型更多是为了验证没有网络情况下，用本地小模型能节省多少资源和提高多少效率。

不算输入，只有 216k 输出，0.25 度电，按视频 6 毛钱一度电来算，7 毛 5 每百万 token 。配置铭凡 7455hx+crucial 64G + rtx pro 4500 。模型用的是 Nvidia/Qwen3.6-27B-NVFP4 ，按照平均生成速度 60tokens/s 。

rootfs 哪里来的？ glibc 用的是哪个版本？这两个都是巨坑。用 conan 配合 docker 交叉编译非常方便，远程 debug 也方便。

上单条 D5 ，不然买板子非常受限。现在我的主机用的是 22/23 年买的 2x32G 笔记本 D5 （迷你主机），主板只能选铭凡的 modt 。只有一条 pcie 5.0x16 。想再多加一块显卡也不行

最后一次 ATM 大额取款是否再检视前不久进行？是否有设立定期存款？是否在一周内进行资金出和入？