V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  sentinelK  ›  全部回复第 9 页 / 共 85 页
回复总数  1684
1 ... 5  6  7  8  9  10  11  12  13  14 ... 85  
4 月 27 日
回复了 zsj1029 创建的主题 Local LLM qwen3.6 27b 本地编码测试
qwen3.6 35B A3B 的跑分还是挺好看的,智力和满血 DeepseekV3.2 不相上下,但 Agent 能力比 DeepseekV3.2 强很多。和我在 hermes agent 上的体感一致。

从这个角度看,最近这一年,localLLM 的进步,比大模型大很多。
我用家里的 8GVRAM ,64GBRAM 的老爷机用 llama.cpp 跑了一下 Q4 量化,驱动 hermes agent 的普通业务没什么问题,就是有点慢。在--on fit 配置下,大概是 20 多 token 每秒。

等 M5 MAX 的 mac studio 上线,我也打算买一台。
这个机制和 llama.cpp 的 -- fit on 区别是?
基座 LLM 选的什么模型?上下文设置了多大?是否动了默认配置?(比如默认最大循环数,压缩上下文阈值)
理论上讲,默认设置下不会无限死循环。

实在陷入死循环就直接/new 换一种提示词再试。

另外,Hermes Agent 虽然有所谓的主动记忆,但是很多模型会选择性忽略对应的提示词,导致回复说“我知道了”等,只是肤浅的记录在了当前 session 的记录中。并没有真正动用 memery 机制。要通过每次调用输出的 icon ,来判断他这次执行都动了哪些功能。
AI 时代,一切的一切都是黑盒。

你调用的到底是什么模型,厂商不告诉你。
你到底花了多少 token ,厂商说了算。
你的数据到底会不会被当作训练材料,有的厂商说不会训练新模型,有的厂商说我保证隐私。

功能强大的模型是不给你用的,问就是安全策略。但某些组织却可以先用,他们可以践踏别人的安全。
合同是说改就改的,老子退钱了你还说什么?
智力也是说降就降的。反正你调的是高端模型,价格也按照高端模型的收。反正 token 怎么算的你也不清楚,纠结什么呢。
4 月 23 日
回复了 aczh 创建的主题 职场话题 我发现程序员这个群体很大部分其实挺抠的
因为开发程序的特性就是认理性参数,不认感性价值。

显得更“抠”是因为很多领域的消费品,感型价值比重实在太大。甚至部分领域会出现倒挂(实际性能更差的产品,因为品牌、营销策略等原因更贵)
@Mzs 不会存在那种“祖传好套餐”的情况的。

目前的商业模式就是把老套餐的权益砍废。然后给你一个限时选项:优惠一点退钱,或者忍着。
@frankxzw sonnet 目前正常,pro 可以使用
@WishMaster 最恶心的是他这个是个连招。先取消掉 pro 、pro+的年费,再去掉学生、贡献订阅的 opus ,最后去掉 pro 的 opus 。

这也就意味着,如果你想用 opus ,就必须改成月付的 pro+。
4 月 21 日
回复了 Croow 创建的主题 程序员 真心发问,想学后端需要学啥?
首先你得先说你要解决什么。
你都不聊你想通过学习解决什么,光学知识,不实践,最终变成屠龙之计有什么意义?
4 月 17 日
回复了 liuidetmks 创建的主题 程序员 AI 时代,开源项目安全性如何保证
@liuidetmks 一样的道理,如果差距很大,这块市场空白的利益会驱使补齐的。
只是变革的过程中有阵痛。

当然,退一步讲,理想情况下,AI 时代,“开源社区”这种玩法其实已经没什么意义了。
4 月 17 日
回复了 liuidetmks 创建的主题 程序员 AI 时代,开源项目安全性如何保证
反过来讲,不管是什么项目,以后都应该用 AI 产品先进行一遍 review 。

常言道,道高一尺魔高一丈。
4 月 17 日
回复了 gangsta 创建的主题 OpenAI App → CLI → App ?
上一波浪潮中,各个公司推 CLI 工具,难道不是因为这样更快捷,更能打差异化迅速占领市场,快速迭代么……
毕竟 GUI 产品的市场有 Cursor 、VSCode Copilot 这些先行者。

我很好奇,明明一个基于现实的妥协,一个明显的减法,是怎么理解为“在当时让大多数开发者以为 GUI 程序并不是 AI 辅助编程的最佳形态”的?

按照这个逻辑,霍金不走路,是不是人人都要做一个四轮车歪着嘴才能发挥大脑极限……
本质上是要看你的提示词,或者说功能点是否足够详细。
同样是校友会,校内网级别,和供一个学校内网(同时在线不足 1000 )的网站,是完全不同的架构与实现思路。
就像是农村自建房和哈利法塔,都是“房”,剩下的都不同。

所以光定义用户侧的功能是不够的。或者说功能驱动会造成极大误解。
最终很有可能大炮打蚊子,或者小马拉大车。

所以目前我遵从的还是正向开发的思路,就是引导 AI 先定需求,定稿后按照需求制定架构和技术选型方案,然后拆解成功能点,最后落地实施。
4 月 17 日
回复了 383394544 创建的主题 程序员 Claude 这对吗
欢迎来到成年人的世界。

虚假的社会:大家各司其职,遵守规则,互利共赢。
实际的社会:我只要把我上面的人搞死,我就可以替代他了。
4 月 14 日
回复了 zhengmin4516 创建的主题 程序员 使用 ai 编程后的感想和困惑
0 、这是趋势,解放生产力,核心就是要解放。但是前提是你要知道什么该解放,什么该攥在手里。资本家从来不会解放自己的人脉和渠道。

1 、所以在使用中应该合理的优化上下文。给 AI 一个明确的任务目标与界限。目前网上用 token 去砸 AI 许愿的风气追不得。最后要么大炮打蚊子,要么产出的内容全是浅尝辄止的垃圾。

2 、同理,作为使用者,你最起码要对产出有一定的掌控力。最起码要学习最基本的管理学知识,知道什么该插手,什么不该。
4 月 14 日
回复了 cxd8190102 创建的主题 程序员 龙虾还没玩明白,爱马仕又来了
再反转一下,以上是基于消费者视角。基于 LLM 模型提供者的视角来看,他们立于不败之地。

市面上有更好的工程化实践,就吸纳到自己的嫡系 app 中。
市面上有不利于自己利益的工程化实践,就禁掉。
市场出现了现象级产品?换个模型版本。直接负优化废掉他,自己在做一个。
4 月 14 日
回复了 cxd8190102 创建的主题 程序员 龙虾还没玩明白,爱马仕又来了
没用,在 LLM 模型 API 接口本身都是黑箱(动不动降智,更别提还有各种黑中转)的情况下,你根本没法评估 AI 应用的能力和稳定性。

更何况,我个人理解,其实并不是每个人都需要那么“定制化”的工程环境。

目前的 LLM 上下文,已经足够大到只要你愿意提供足够的信息,不人为的隐瞒,基本都可以一次性加工执行完毕的程度。并不需要对既有上下文进行过度的包装和工程化。

你的“助手”和他的“助手”,在能力和技能上,未必有多大差距。

再退一步,其实我一直认为,“定制化”其实就是个伪命题。
一切的“客制”其实都是基于方法论控制的。只是消费者对某个行业了解的过浅,从而对“定制”有着一种谜之情怀。
1 ... 5  6  7  8  9  10  11  12  13  14 ... 85  
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2580 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 39ms · UTC 01:34 · PVG 09:34 · LAX 18:34 · JFK 21:34
♥ Do have faith in what you're doing.