LeeReamond
V2EX  ›  问与答

需要大概 500 亿 token,现在用什么方案比较好?

  •  
  •   LeeReamond · Jun 7 · 5026 views
    This topic created in 149 days ago, the information mentioned may be changed or developed.

    计算了一下批量任务大概需要 500 亿左右,输入输出比大概在 20:1 ,需要 deepseek v4 pro 及以上智商的模型。

    不知道有没有比较熟悉各种 tokenplan 的老哥指条路,谁家比较便宜。

    目前用的是 mimo v2.5 pro 的 tokenplan ,估算了一下要几千块钱,还是很贵啊。。。

    33 replies  •  2026-06-10 22:43:33 +08:00
    imlonghao
    1
    别单算输入输出比,缓存率也得考虑啊
    soulflysimple123
    opencode go
    Censhuang
    3
    给个方向:租算力去自己推理?
    rotor1996
    rotor1996
    Jun 7 via iPhone
    4
    中转站啊
    qili36585009
    5
    推荐你用中转站的 gpt5.4 相对来说还是很便宜的
    wuxkwnjjwoxk
    wuxkwnjjwoxk
    Jun 7 via iPhone
    6
    收雷总送的 mimo 额度呀,我 max plan 还有 900 亿 credit ,可出
    rubi
    rubi
    Jun 7
    7
    来用中转站吧
    afkool
    afkool
    Jun 7
    8
    中转呗。。当然自己买 Pro20 最划算。
    huahuaccc
    9
    500 亿 token ,中转也便宜不到几千块啊
    LeeReamond
    LeeReamond
    OP
    Jun 7
    10
    @imlonghao 缓存率很低,如果高的话就用 deepseek 了,缓存率看了一下 10%左右。


    @rotor1996
    @rubi
    @afkool 中转靠谱么,中转也要走官方,它的利润点在哪里,感觉都是以次充好
    noqwerty
    11
    试一下这个缓存率也很低吗 https://github.com/esengine/deepseek-reasonix
    sakurajiayou
    sakurajiayou
    PRO
    Jun 7
    12
    看看我之前发的几个贴子,肯定能解决你的问题
    106npo
    106npo
    Jun 8 via Android
    13
    缓存率这么低的话,minimax 吧,预计 3000 多,但你得用一个月跑
    i67c6NJ0r33nC667
    i67c6NJ0r33nC667
    Jun 8 via iPhone
    14
    mbp 本地模型考虑一下?
    sNullp
    sNullp
    Jun 8
    15
    selfhost?
    night98
    night98
    Jun 8
    16
    opencode go 套餐?多开几个号组个号池?你这也不多啊关键是。或者直接 team 号几块钱一个买个一百个慢慢跑
    DeadLion
    17
    智谱去租老套餐的 MAX 账号 ,没有周限额的话,5h 估算能跑 7.5 个亿
    maolon
    maolon
    Jun 8❤️1
    18
    为什么不用 batch api 来做,就算只走各家官方的 batch api ,价格正常来说也是普通 api 的 1/10 ,基本等于全程缓存的价格
    Meteora626
    19
    最近几天 无限 team ,遍地免费的 gpt5.5 不登起来?
    sillydaddy
    20
    是不是算错了?我算着应该是几万块钱。

    「缓存率看了一下 10%左右」,再加上「输入输出是 20:1 」这相当于 500 亿 token 几乎都是输入 token 了!就算按 mimo-v2.5 或者 deepseek v4 flash 的低价( 1 块/百万 token ),也是 50000 个「百万 token 」,即 5 万块钱!不是你说的几千块。更何况用 pro 版还要加几倍。
    sillydaddy
    21
    如果是**检索信息**而不是**全量处理文档**,有没有可能改进一下流程?即,不要把所有的内容,都作为输入 token ,这样太消耗了!可以使用工具+ReACT 模式,去递进的搜索、提取。

    这是我在做的项目,试了下,相比之前,感觉能把成本减少 90%以上: /t/1215475
    afkool
    afkool
    Jun 8
    22
    @LeeReamond 中转是把订阅转成 api 卖,当然便宜了。至少现阶段,gpt 系列没有人以次充好。
    人品差的可能会植入一些恶意提示词获取密钥之类的。所以用的时候注意一下权限管理,防人之心不可无。
    andyskaura
    23
    @DeadLion 你想多了,老套餐现在能联通一次都不容易。降权降得厉害
    DeadLion
    24
    @andyskaura 除了刚出 5.1 那会儿限流 429 后面没遇到过 昨天好几个账号都跑满了 消耗 7 个亿
    日常也都 2 亿 token 快的很
    andyskaura
    25
    @DeadLion #24 那估计是我的账号太早了?去年 10 月份的订阅,今年过完年基本就无法使用了。10 个需求只能正常回复 2 个。
    defunct9
    26
    team bug 号,还可以继续薅
    LongjingTea
    27
    我用的是免费账户 mimo v2.5 pro 免费额度还有几百亿这个月 19 号过期过期不介意的话你可以低价收走
    LongjingTea
    28
    @MeAndRhythm 6,057,316,608 / 82,000,000,000
    已使用 7.0%
    DeadLion
    29
    @andyskaura #25 感觉可能跟姿势有关 要么就是你号黑了 我 1 月份的也是老账号
    Lexin914
    30
    @qili36585009 老哥有没有速度快的中转站推荐
    LeeReamond
    LeeReamond
    OP
    Jun 8
    31
    @maolon 我看官方价格 batch api 只是 50%off ,老哥怎么搞的 1/10 价格呢。

    @sillydaddy 目前是低价收的账号,不是走原价

    @MeAndRhythm 老哥哪个区的,目前限流问题怎么样。我有几个新加坡区的现在只能单线程调用了,非常糟糕。能并发的话倒是有兴趣
    guanhui07
    32
    中转站
    qili36585009
    33
    @Lexin914 happycode.vip 稳定好用
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   3635 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 134ms · UTC 05:20 · PVG 13:20 · LAX 21:20 · JFK 00:20
    ♥ Do have faith in what you're doing.