V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  zsj1029  ›  全部回复第 10 页 / 共 87 页
回复总数  1736
1 ... 6  7  8  9  10  11  12  13  14  15 ... 87  
真的落后,人的注意力有上限,面对太多内容,不如 agent ,自动整理处理,方便严谨的。
vscode ,配个 agent ,从项目代码分析,到代码生成,全自动,你想想效率会高多少
4 月 28 日
回复了 zsj1029 创建的主题 Local LLM qwen3.6 27b 本地编码测试
@simo 带宽一定要高,2t 的话,130t/s 按比例换算就好了
4 月 28 日
回复了 zsj1029 创建的主题 Local LLM qwen3.6 27b 本地编码测试
@goodryb 嗯我跑的也是量化,模型加 kv-cache 双量化,不然显存吃不住,输出也慢
4 月 27 日
回复了 zsj1029 创建的主题 Local LLM qwen3.6 27b 本地编码测试
@germain 真的,现在的小模型不是玩具,花了两晚上,把 vue 的前端项目,40+的页面,用 svelte ,qwen3.6 完美重构
4 月 27 日
回复了 zsj1029 创建的主题 Local LLM qwen3.6 27b 本地编码测试
@zcf2009 多模态只有图片,视频输入识别,没有图片生成
4 月 27 日
回复了 zsj1029 创建的主题 Local LLM qwen3.6 27b 本地编码测试
@jerseyhero 早些试过,工具调用标签自成一派,神经病一样,agent 兼容不了,后面发布 qwen3.6 27b ,看模型评测,完全吊打,不想碰了
4 月 27 日
回复了 zsj1029 创建的主题 Local LLM qwen3.6 27b 本地编码测试
@cskeleton 那确实是的,多卡的话 nvlink 不支持,单卡确实你说的没错
4 月 27 日
回复了 zsj1029 创建的主题 Local LLM qwen3.6 27b 本地编码测试
@peyppicp 搜一下,配置里面找到模型,类型 openai ,然后自定义模型就可以配置本地了,窗口操作,不需要什么 config 文件
4 月 27 日
回复了 zsj1029 创建的主题 Local LLM qwen3.6 27b 本地编码测试
@kenpuluma 确实,表达的意思就是,开源本地模型发展超预期,本地搭建不再是玩具。评测赶上了 opus 4.5
rag ,还有一楼说的那些,vibecoding
4 月 27 日
回复了 zsj1029 创建的主题 Local LLM qwen3.6 27b 本地编码测试
@sentinelK 就是 llamacpp 跑的,fiton ,显存不够,cpu 卸载,a100 可以全部加载到显卡的,不需要,其次开启 q4 kv-cache 量化后,能跑更多并发,更省显存
4 月 27 日
回复了 zsj1029 创建的主题 Local LLM qwen3.6 27b 本地编码测试
@darrh00 cline 最舒服,其实有很多,都可以下载试试
4 月 27 日
回复了 zsj1029 创建的主题 Local LLM qwen3.6 27b 本地编码测试
@sentinelK mac 速度也慢,只能能加载大模型,显存带宽制约的,a100 。1.8t ,mac 只有 700g 好像
4 月 27 日
回复了 zsj1029 创建的主题 Local LLM qwen3.6 27b 本地编码测试
@furlxy 因为那个二叉树,很简单就过了,这个至少有点工作场景,写后端更没问题,比前端还快,毕竟不用调样式
4 月 27 日
回复了 zsj1029 创建的主题 Local LLM qwen3.6 27b 本地编码测试
@evan1 我不知道啊,80g 的,咸鱼问的 5w 不到,2 块 5090 ?算力翻倍至少吧
4 月 27 日
回复了 zsj1029 创建的主题 Local LLM qwen3.6 27b 本地编码测试
@mgsv2047 我这是公司的 a100 ,设备不行吧,还得是专业卡,35b 的那个专家模型,能跑 120t/s
4 月 27 日
回复了 Tiger1994 创建的主题 iPhone [求助] 怎么把 NFC 门禁卡录入 iPhone 手机
越狱就可以了
4 月 27 日
回复了 zsj1029 创建的主题 Local LLM qwen3.6 27b 本地编码测试
@sentinelK 是的,今年是 agent 大规模应用的元年
4 月 27 日
回复了 zsj1029 创建的主题 Local LLM qwen3.6 27b 本地编码测试
@Seanfuck 目前 128 ,256 也试过,llamacpp 的后端,开始都是快的,多轮会话,kv-cache 累计推理感觉就慢了
4 月 27 日
回复了 zsj1029 创建的主题 Local LLM qwen3.6 27b 本地编码测试
https://i.imgur.com/oaMquiv.png
是有动画效果的,星星会明暗,上下左右还有钻石闪烁效果,不太明显
日期,月相跟着时间会变
1 ... 6  7  8  9  10  11  12  13  14  15 ... 87  
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   968 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 21ms · UTC 19:24 · PVG 03:24 · LAX 12:24 · JFK 15:24
♥ Do have faith in what you're doing.