爱意满满的作品展示区。
gxcsoccer

受 Jev 启发,花了三周、600 美元、20 多轮训了两个小模型专门做 Computer use

  •  1
     
  •   gxcsoccer · 2 days ago · 1650 views

    这三周业余时间做了个东西,开源出来给大家看看。

    DeskMind 得心:一个在 Mac 上替你操作电脑的 agent ,决定每一步怎么做的是两个跑在本机的小模型( Qwen3.5 0.8B 和 4B 微调,MLX )。不走云端,也不按次付费。

    思路来自 Jev:把每一步变成选择题,让模型给每个选项打分,而不是生成一段文字。区别是 Jev 是云端服务,我想要一个全在本机跑的版本,所以自己在 Qwen3.5 上训了 0.8B 和 4B 两个小模型。决策服务用的是和 Jev 相同的 POST /v1/systemone 请求格式,已有的 harness 换个地址就能接到本机。和 TypeSafe 没有任何关系。

    0.8B 有把握就直接做(大约 0.5 秒),没把握就交给 4B 再判断(约 3.6 秒)。任务有两种理解的时候,它会先问你,比如表里有两笔 Lisa Wong 的订单,它会问你用哪一笔,而不是随便挑一个写进去。

    自己出了 13 个真机任务,每个跑 3 次,目前发布版是 38/39 ,没出现过没做完就说「完成」的情况。题是我自己出的、样本也小,仅供参考,逐题结果都公开了。

    踩过最有意思的坑:标签平滑设成 0.95 ,结果 0.8B 的把握全挤在 0.96 这个门槛附近,七成的步骤都被交给了 4B ,所以现在速度还不够快。下一轮准备改。

    目前的不足:「帮我整理这个文件夹」这种模糊的指令做得不好;文件很多的文件夹每步要几十秒;只支持 Apple 芯片,首次要下载约 5.3 GB 模型。

    训练花了大约 600 美元:先在 Tinker 上跑,后来换阿里云 PAI ,最后按小时租显卡最划算。

    欢迎下载试试,最想看到的是它该问却猜了的例子。

    7 replies  •  2026-10-06 17:13:11 +08:00
    wdhwg001
        1
    wdhwg001  
       2 days ago via iPhone   ❤️ 1
    最想看的是人对于自己的产品最低的认真程度,也就是最起码自己写帖子。
    gxcsoccer
        2
    gxcsoccer  
    OP
       2 days ago
    @wdhwg001 确实让 AI 帮忙完善了,但是大纲和内容是我自己提供,欢迎交流
    dimlau
        3
    dimlau  
       2 days ago
    我看用 Gemma 训练的也不少,不过,总感觉现在还不到自己跑模型的时候吧,cloudflare 的 clef 还有免费额度呢 😓
    jtacm
        4
    jtacm  
       2 days ago
    赞一个👍! 问下楼主训练数据怎么弄的。
    gxcsoccer
        5
    gxcsoccer  
    OP
       2 days ago
    @dimlau 在公司生产感觉无法用 jev 的 api ,另外顺便也学习下怎么训模型
    gxcsoccer
        6
    gxcsoccer  
    OP
       2 days ago
    @jtacm https://github.com/deskmind-ai/brain/blob/main/docs/training.zh-CN.md

    这里有些记录。

    - 公开数据集 + 自己的合成数据
    - 桌面操作数据,oracle 自动标注
    - 蒸馏大模型
    hqy5345
        7
    hqy5345  
       2 days ago
    很好的工作!不知道上面那个喷帖子 AI 写的是何意味,AI 又不是许愿池的王八能无中生有,指挥 AI 一样是工作的一部分啊。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   5461 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 05:56 · PVG 13:56 · LAX 22:56 · JFK 01:56
    ♥ Do have faith in what you're doing.