V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  zsj1029  ›  全部回复第 7 页 / 共 87 页
回复总数  1731
1 ... 3  4  5  6  7  8  9  10  11  12 ... 87  
@songray 有几个生产的会主动升级的,继续迭代的有几个不会升级的呢?你以为都跟 java1.8 一样吗?
只能说恭喜,zig 那帮人自娱自乐也挺好
@sentinelK 你以为我没用过 llamacpp 吗? 单机还可以,但是缓存命中率低,总是重复预加载,三轮对话后,又要重新填充,更浪费时间
@sentinelK 唉,不要纠结,我的 a100 ,输出有 120tps ,你要看 agent 模式工作情况,不是看最开始的简单测速啊,上下文 200k 满了后,掉速啊,不是我一个人用,公司好几个用,一并发更差了,显存不够,vllm 的 kvcache8 位量化都开了。。。
@sentinelK 4bit 量化,开始 mtp ,预填充,200k 上下文,40g 显存吃满了,cc 也就 2 并发,多了非常慢
@jinsongzhaocn 是的,开始快,200k 配上 cc ,跑个半小时你再试试,能用的,就是越往后越满
@jadeborner 对,移动电信 稍微差点,速度也可以的,主要是不丢包,延迟 200 也还好
@esee 我哪里说被封了,只是说 5 年没维护,太慢了 ws 协议,换个 grpc 协议,速度变快,自己维护,ai 代码质量更高了
@K332 不会都是 token 处理,最多有图片视频理解,不会有视频生成
@mewking qwen3.6 本地能干的,前面我让他参照 go 版用 dart 重构,最后跑通了,只是过程太久了上下文一上来会掉速度。最后发现涉及到数据包处理 cpu 密集,性能 dart 不适合,才换了 rust 和 deepseek
可以哦,收费吗?数据免费的话支持一下
@easylee 直接干,因为我不喜欢设计前置,很多时候它会给出 md 建议,可能比人思考的更全面
@admin926 好像只有 pro 有 1m 吧,200k ,能写大半了,然后自动压缩继续,压缩挺快的 2 分钟?
@Felldeadbird 我今天“破处了”,之前一直用的本地 ai 和 trae ,昨天用本地 ai 写了个 7788 ,实在等不了,第一次充钱,一天 5 块,两个包子,给你一天好心情,心情投资,不香吗
5 月 10 日
回复了 gegeligegeligo 创建的主题 问与答 phpstorm 编辑的时候很卡
有点刀耕火种了,先用 ai ,帮你重构去拆分模块,然后,没有然后,全给 ai 做吧。。。
@zsxzy git 上有不少,找一个拿来让 ai 给优化修改就行了,然后不断测试 debug ,从 0 的话我估计也搞不定
@clauder
@benen005g
https://i.imgur.com/jLQX6U8.png
就这个,开放了两天吧,去年 11 月,记错时间了,都说不好非优化线路,开始没啥人买的
vscode 插件就很好用了,cli 我是不用,手残不方便
@swananan 对的,但是要做主流协议,不然客户端还要自己做,pc 的还好说,手机 app 上架成本就太高了
@rb6221 v2ray 小火箭 这两个可以用,我就满足了,没有想着其他方案,自用自建够了
1 ... 3  4  5  6  7  8  9  10  11  12 ... 87  
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   936 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 20ms · UTC 20:41 · PVG 04:41 · LAX 13:41 · JFK 16:41
♥ Do have faith in what you're doing.