littlemis
V2EX  ›  问与答

请问 AI 企业级服务器 (服务公司 100 人) 建议

  •  
  •   littlemis · May 30, 2025 · 2379 views
    This topic created in 526 days ago, the information mentioned may be changed or developed.

    目前 AI 主要用 qwen3:32b 想用到 qwen3:235b 请问 AI 服务器的品牌、规格建议 谢谢!

    13 replies  •  2025-06-02 18:05:59 +08:00
    tool2dx
    tool2dx
    May 30, 2025
    1
    等 7 月份买全新的 intel 24G GPU ,一张 3600 元,买 4 张就能用了。
    xtreme1
    xtreme1
    May 30, 2025
    2
    9355 双路, 64Gx24 ddr5, 5090, ktransformers
    硬件大概 10w
    xtreme1
    xtreme1
    May 30, 2025
    3
    大概 20t/s
    tool2dx
    tool2dx
    May 30, 2025
    4
    @xtreme1 企业内部自用没必要用 5090 那么好的,又不是招标。
    byteX
    byteX
    May 30, 2025
    5
    后期如果涉及到微调这些 就要好好考虑显卡了
    xtreme1
    xtreme1
    May 30, 2025
    6
    @tool2dx #4
    比你臆想的 b580 24g 应该是强不少, 起码宇宙里存在
    tool2dx
    tool2dx
    May 30, 2025
    7
    @xtreme1 intel 24g 说是 7 月份就开卖了,等等呗。你买 5090 也需要从国外进货,国内新品也买不到。
    xyooyx
    xyooyx
    May 30, 2025
    8
    @xtreme1 #3 我们过来的经验,20 个远远不够,200token 每秒起步才有办法应付企业复杂场景
    coefu
    coefu
    May 30, 2025
    9
    你目前资源的 20 倍就行了,只怕你搞不定分布式推理。
    terranboy
    terranboy
    May 30, 2025
    10
    100 人的并发有 20 个吗 请把 5090X20
    inorobot
    inorobot
    May 30, 2025 via iPhone
    11
    24G 八卡或 48G 四卡方案
    goodryb
    goodryb
    May 30, 2025
    12
    起码得说清楚是做什么用吧,推理还是要做模型微调,这两个对性能要求是完全不一样的
    littlemis
    littlemis
    OP
    Jun 2, 2025
    13
    谢谢大佬们 我等下 intel 24g
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   752 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 39ms · UTC 23:21 · PVG 07:21 · LAX 15:21 · JFK 18:21
    ♥ Do have faith in what you're doing.