sentinelK's recent timeline updates sentinelK's recent timeline updates
我本将心向明月，奈何明月照沟渠。
May 30, 2023
 |
sentinelKV2EX member #631792, joined on 2023-05-30 20:41:02 +08:00Today's activity rank 777 |
kop1989的三转小号
| “马鞍税”，一篇非常有意思的 harness 横比文章 程序员 • sentinelK • 6h 59m ago • Lastly replied by keakon | 8 |
| 很好奇小米开放的这个实时训练监控器，其中成本（cost）的组成： https://mimo.xiaomi.com/rl/#overview 程序员 • sentinelK • 11h 33m ago • Lastly replied by lwep | 8 |
| deepseek-flash 的第三方跑分趣闻 DeepSeek • sentinelK • 6 days ago • Lastly replied by sentinelK | 3 |
| Hermes Agent 9 月更新纪实： bot 机制补全了 hermes 的最后一块基石，产品功能设计逐渐向 GUI 倾斜。 Hermes Agent • sentinelK • 9 days ago |
| mac m5 ultra 上线中国官网。1.2T 显存带宽， 256GB 版本 8.6 万 Local LLM • sentinelK • Aug 28 • Lastly replied by sadan9 | 51 |
| RTX PRO 5000（或其他 48GB 显存）的 Qwen3.8-27B-FP8 配置交流（prefill 5000+t/s， decode 60+t/s）
1 Local LLM • sentinelK • Aug 26 • Lastly replied by tgfbeta
|
55 |
| OpenCode go 订阅开始区分模型提供额度， kimi-k3、deepseek-v4-pro 等只有 15$的额度，请各位注意用量。 程序员 • sentinelK • Jul 20 • Lastly replied by shuck | 49 |
| lama.cpp 目前有重大性能 bug： checkpoint 的巡回逻辑对于混合模型（比如 qwen3.6-27B）无效，从而导致大概率每次对话都要 prefill 全文，严重拖慢速度 Local LLM • sentinelK • Aug 3 • Lastly replied by tgfbeta | 16 |
| 阿里百炼的自建 DeepSeek 限速是 TPM 1.2M，这限速是拍脑袋的吗？ 程序员 • sentinelK • May 28 • Lastly replied by sentinelK | 2 |
sentinelK's recent replies
9h 45m ago Replied to a topic by s › 程序员 › v2ex 帖子排序机制是什么？过去的帖子顶不上来？ |
不光是坟帖的问题，v 站有个权重算法，自己回帖、相同账号重复回帖基本不占权重。
看的人越多、越多不同的人回帖，越靠前。
看的人越多、越多不同的人回帖，越靠前。
11h 35m ago Replied to a topic by sentinelK › 程序员 › “马鞍税”，一篇非常有意思的 harness 横比文章 |
13h 0m ago Replied to a topic by sentinelK › 程序员 › “马鞍税”，一篇非常有意思的 harness 横比文章 |
@longaiwp 千问系列就明确官方跑分都是 claude code 环境，反正模型结构注定放弃响应速度了，不如提高跑分上限。
13h 33m ago Replied to a topic by sentinelK › 程序员 › 很好奇小米开放的这个实时训练监控器，其中成本（cost）的组成： https://mimo.xiaomi.com/rl/#overview |
@Jerry02 是，所以我认为“租金”这个成本定义不贴切。
14h 56m ago Replied to a topic by sentinelK › 程序员 › 很好奇小米开放的这个实时训练监控器，其中成本（cost）的组成： https://mimo.xiaomi.com/rl/#overview |
@niubilewodev 好奇的就是这个常数，5.71$/秒，其实是可以根据商电（暂定 1 人民币/千瓦时）、卡租金（ 5090 4 美金/小时）反推的。大概是等效 5000 张 5090 ，感觉少了点……
16h 54m ago Replied to a topic by busterian › 程序员 › 如果 AI 能够判断“训练它的人定义错了”，它应该服从谁？ |
决定最终产出倾向和格式的是后训练以及微调。
所以其实理论上讲，只要是开放权重的模型，有硬件，任何人都可以做到楼主说的效果。
但是工程学要讲究性价比。作为一个闭源模型，作恶没必要搞这么复杂。
所以其实理论上讲，只要是开放权重的模型，有硬件，任何人都可以做到楼主说的效果。
但是工程学要讲究性价比。作为一个闭源模型，作恶没必要搞这么复杂。
18h 22m ago Replied to a topic by timeance › OpenAI › GPT6 的审美到底好在哪里了？怎么这么多人夸 |
gpt6 的和 gemini 给的分辨率都不同(看围裙的色块层次就可以)。结合你上面实际截图的可视距离，有没有可能 gemini 给你的方案你根本就看不全？
2 days ago Replied to a topic by lynn1su › 程序员 › 我发现拿 ai 当记事本的效果还真不错啊， agent+记忆框架当记事本很不错欸。 |
轻度使用可以。但是实际工作中千万不能这么用，AI 会自作聪明，搞混。
比如两个非常相似的日程，AI 的记忆会串台。
比如两个非常相似的日程，AI 的记忆会串台。
3 days ago Replied to a topic by Haku › 程序员 › 自部署模型卖 Token 能赚钱吗？ |
3 days ago Replied to a topic by Haku › 程序员 › 自部署模型卖 Token 能赚钱吗？ |
@Haku 这不光是配套工具那么简单。
1 、你没有官方的运行环境，所以你的显卡利用率一定不如官方。
2 、你没有配套生态，比如 Minimax H3 是有对应的 designer 工具免费提供的。能通过摆 3D 小人精准控制走台和运镜。还能自动生成分镜和剧本。多媒体模型还要缓存素材、生成结果。minimax H3 官方是 7 天免费存储的，你算算 7 天的巨量缓存成本是多少。
3 、你没有官方的部署经验，官方有海量硬件，所以可以根据推理情况灵活调配负载，你的硬件总数是固定的，所以只有一个甜点。一旦用户负载有波动，你的体验就直线下降。
最终结果就是，你的 pp/tg 比官方慢，缓存命中率低，有时候还要整个 session 重新 prefill ，还比官方贵。
视频模型更惨，排队排到死不说，素材传不上去，传上去了调不出来，还没官方的设计工具……
1 、你没有官方的运行环境，所以你的显卡利用率一定不如官方。
2 、你没有配套生态，比如 Minimax H3 是有对应的 designer 工具免费提供的。能通过摆 3D 小人精准控制走台和运镜。还能自动生成分镜和剧本。多媒体模型还要缓存素材、生成结果。minimax H3 官方是 7 天免费存储的，你算算 7 天的巨量缓存成本是多少。
3 、你没有官方的部署经验，官方有海量硬件，所以可以根据推理情况灵活调配负载，你的硬件总数是固定的，所以只有一个甜点。一旦用户负载有波动，你的体验就直线下降。
最终结果就是，你的 pp/tg 比官方慢，缓存命中率低，有时候还要整个 session 重新 prefill ，还比官方贵。
视频模型更惨，排队排到死不说，素材传不上去，传上去了调不出来，还没官方的设计工具……
Select Language