• 请不要在回答技术问题时复制粘贴 AI 生成的内容
okoklll
V2EX  ›  程序员

做了个低代码的微调平台,结果发现不太知道谁会用😂

  •  
  •   okoklll · Oct 29, 2025 · 3660 views
    This topic created in 380 days ago, the information mentioned may be changed or developed.

    本来我只是在一个 GPU 云公司敲代码的。

    前一阵老板说我们有 GPU 资源,得用起来啊!

    于是大家来了个头脑风暴,聊来聊去,发现没啥比微调训练更需要算力的了。

    那咱干脆就做个低代码大模型微调平台吧。

    兄弟们叮了咣啷的搞了 2 个月,终于是上线了。

    现在已经能支持一百多种开源模型( Qwen 、Llama 、Yi 、InternLM 什么的都有),LoRA 、QLoRA 、全参数训练都能跑,底层用的 H100 。

    不过现在我有个疑惑:

    我自己觉得这玩意挺方便的,但我发现我不知道到底是谁,在什么场景下,会真正需要这么一个东西? 😂

    我不是来打广告的哈,主要是想跟大家取取经:

    一是想看看大家都在什么场景下会做微调;

    二是我们这样一个产品大家会用的上嘛?

    如果有人刚好在搞微调、或者想跑点实验,可以私我哈,可以给大家搞点额度玩玩。

    15 replies  •  2025-11-07 17:19:21 +08:00
    AllenZ0
    AllenZ0
    Oct 29, 2025
    1
    推给友商。
    hmxxmh
    hmxxmh
    Oct 29, 2025 via Android
    2
    已经有类似的框架了吧,swift 或者 llamafactory
    skallz
    skallz
    Oct 29, 2025
    3
    有个经常用到的场景,就是 ocr ,不同业务场景下 ocr 的图片差的很多,一般都需要针对不同场景专门训练,通用的模型在部分业务中效果较差
    如果 op 能提供个服务先根据上传的图片自动识别文字,然后再给人工矫正文字,再用这些材料自动化训练,就是个很实用的落地场景了
    okoklll
    okoklll
    OP
    Oct 29, 2025
    4
    @hmxxmh 是的,这个就是跟 llamafactory 合作,做的在线版。但开源框架和商业产品用户群体好像还不太一样
    okoklll
    okoklll
    OP
    Oct 29, 2025
    5
    @AllenZ0 哈哈 这个角度我是没想到
    okoklll
    okoklll
    OP
    Oct 29, 2025
    6
    @skallz 这个想法很棒哈~ 感觉可以在数据处理工具里预置个 Paddle-OCR 做识别;您说的 OCR 是用多模态模型做吗?还是一些深度学习模型呢?
    RealMan
    RealMan
    Oct 30, 2025
    7
    似乎和 Danqi Chen 他们做的 Tinker 很类似: https://thinkingmachines.ai/tinker/

    我个人的观点是这类平台有点奇怪,小公司一般都没有微调需求,RAG+Context engineering 解决 90%任务。对隐私有要求的公司可能会有微调的垂直落地需求,但是他们肯定会选择本地部署,或者自建可控云平台训练。不会上传数据到其他平台训练。
    okoklll
    okoklll
    OP
    Oct 30, 2025
    8
    @RealMan 感谢提供思路哈~ 看了下 Tinker ,看起来是提供了个 SDK ,写代码使用的。 我这个是不需要写代码,在页面配置参数,然后提交训练任务就行了,本意是想降低微调门槛。

    您的观点我是认同的。 我们也和一些做 AI 应用的公司聊过,现状是这样的。

    另外,数据安全性也确实是一个绕不开的问题,也有用户问我们私有化部署或单独签署安全协议的事情。

    同时,我们也看到一些个人用户或中小企业用户有微调需求,但难以承担自建的硬件和维护成本。但目前我们用户规模还比不大,不知道这样的用户群体是不是普遍存在以及分布在哪些行业中~
    joocejie
    joocejie
    Oct 30, 2025
    9
    之前用过云算力平台,给小孩把低清动画片通过 Real-ESRGAN 超分辨率转成高清动画片。
    charles0
    charles0
    Oct 31, 2025 via iPhone
    10
    需要微调和本地部署的客户很多不愿意上云
    okoklll
    okoklll
    OP
    Oct 31, 2025
    11
    @charles0 是因为数据安全性的问题吗?
    charles0
    charles0
    Nov 5, 2025 via iPhone
    12
    @okoklll 对啊,相当多本地部署的人都是为了避免数据泄露出去,而微调的人手里有特定领域里高价值的数据,一般也不希望泄露出去
    okoklll
    okoklll
    OP
    Nov 5, 2025
    13
    @joocejie 这个挺有意思的,感觉可以做个智能体小工具。
    okoklll
    okoklll
    OP
    Nov 5, 2025
    14
    @charles0 确实,我们也会被问到这个问题。但本地微调,GPU 是个问题。稍大点的模型,消费级显卡很难跑动了吧。
    joocejie
    joocejie
    Nov 7, 2025
    15
    @okoklll 字节的火山引擎已经有这个功能了,转 20 分钟花 50 ¥左右,太贵用不起,自己租云算力大概不到 1 块钱
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   928 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 37ms · UTC 21:35 · PVG 05:35 · LAX 13:35 · JFK 16:35
    ♥ Do have faith in what you're doing.