V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  lynn1su  ›  全部回复第 5 页 / 共 68 页
回复总数  1350
1  2  3  4  5  6  7  8  9  10 ... 68  
❮ ❯
@vopsoft 测试某条记忆是否出现矛盾的地方
@liangbancai 提取的时候有个 llm 整理好在返回给 agent
@qianfengzongheng #2 我不希望限制记忆数量上限,因为会舍弃部分细节,我不喜欢这种。人脑就会偶尔忘记细节,我不希望我的 agent 也会忘记细节
@qianfengzongheng #2 成本还好。。服务器都是家里以前的斐讯 n1 盒子+nas 虚拟机
嵌入模型是我本地部署的 embedding 模型
9 月 8 日
回复了 zhangli2946 创建的主题 › 程序员 › 面对越来越贵的 token 我们能做什么
@mlxjclf97 就是这么多,死活用不完
@langsfang #1 我觉得你说的不对
1.embedding 来做检索不是岔路,是便宜的替代方案
2.KV 一个 token 存几十层×几千维,10M 上下文就是 TB 级显存; embedding 一个向量才几 KB ,差几十上百倍,公司用大规模知识库规模化只能用 embedding
3.我觉得你 10m 只是能搜到,不是能理解并思考,你多段 KV 拼起来缺跨段注意力,位置编码外推 40 倍
所以我觉得吧,还是嵌入模型好使
9 月 8 日
回复了 zhangli2946 创建的主题 › 程序员 › 面对越来越贵的 token 我们能做什么
阿里 coding plan 200 元,90 万亿 token qwen3.7 plus ,了解下
我这个月用了 56 亿,可恨我没啥任务跑了
@honjow #30 谢谢,已艾特
@Livid 站长,25 楼有人乱打广告
@tylerrrrrr #25 兄弟我记得站长说过不能在非广告节点打广告把?而且还是在人家帖子里,你不怕封号啊?
@S0lution #21 假的吧 glm 5.3 flash 才出 7 天啊
@xxx78797084 #15 GLM 5.5 flash 嘛?
@haizhen3587 #17 950k 上下文我测试过了不报错的
@haizhen3587 #17 不是 500K ,你看我上面发的,850k 都可以,是 1m 上下文的模型
@lchkid #11 不过我不认为 glm 能做到这么高速度
https://i.imgur.com/g1IMdwV.png
@lchkid #11 不知道有没有人做指纹测试
@FawkesV #8 这个不支持多模态哦。。
我发现输入大于 256k 以后,反应速度暴降。。目前发现 900k 的时候只有 1t/s 了,950k 只有 0.5t/s 了。。
852K token 的 prompt 被完整接受,而且首尾两个暗号都答对了——说明不是"只取头部"的截断式处理,是真·全上下文注意力,我觉得
1  2  3  4  5  6  7  8  9  10 ... 68  
❮ ❯
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1357 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 24ms · UTC 22:11 · PVG 06:11 · LAX 14:11 · JFK 17:11
♥ Do have faith in what you're doing.