yishibakaien
V2EX  ›  硬件

老黄新出的这台设备有点意思,感觉目前实验室、小公司本地部署推理模型的最优解了

  •  
  •   yishibakaien · Jan 8, 2025 · 5327 views
    This topic created in 663 days ago, the information mentioned may be changed or developed.
    老黄新出的这台设备有点意思,感觉目前实验室、小公司本地部署推理模型的最优解了,1Pb FP4 算力,约等于 4090 ,给了 128G 通用显存,支持多台互联,带宽可能只有 512gb 。

    关键是只要 3000 刀,不要盯着游戏卡了。

    https://www.nvidia.com/en-us/project-digits/
    24 replies  •  2025-01-09 09:08:12 +08:00
    min
    min
    Jan 8, 2025
    1
    LPDDR5X...
    pigdragon
    pigdragon
    Jan 8, 2025
    2
    虽然内存低阶但是好歹大呀
    bigtear
    bigtear
    Jan 8, 2025
    3
    之前的开发者套件配置没这个高,受限于带宽问题速度很慢...
    这种小主机最大的问题是统一内存的带宽,不过 DIGITS 都标注了高带宽,希望能有惊喜。
    yishibakaien
    yishibakaien
    OP
    Jan 8, 2025 via iPhone
    4
    @min 够了,主要是够大,MOE 出来后,算力不是那么吃紧,瓶颈都在显存,很多 4090 改 48g 的,一块淘汰的 A100 80g 都要到 1 万美刀
    qxmqh
    qxmqh
    Jan 8, 2025
    5
    说真的 我挺想要的。
    mumbler
    mumbler
    Jan 8, 2025
    6
    国内起码卖到 6 万以上
    airportIllIl
    airportIllIl
    Jan 8, 2025 via Android
    7
    国内原价买的几率太小了,这种官方指导价不具备现实意义
    iceking112
    iceking112
    Jan 8, 2025
    8
    很够用了,走上 Apple 的道路
    shunia
    shunia
    Jan 8, 2025
    9
    会不会跟显卡一样,最后其实是宏基 digits ,七彩虹 digits ?
    jhytxy
    jhytxy
    Jan 8, 2025
    10
    卧槽。以后家里除了软路由还得加上一个算力宝?
    yishibakaien
    yishibakaien
    OP
    Jan 8, 2025 via iPhone
    11
    @mumbler 这个没有制裁吧,随便买
    yishibakaien
    yishibakaien
    OP
    Jan 8, 2025 via iPhone
    12
    @airportIllIl 不会的,这个算力应该没有在制裁范围内,我感觉这个机器老黄的用意是降低门槛,让中小企业也可以参与进英伟达 ai 体系,完善生态,巩固护城河
    yishibakaien
    yishibakaien
    OP
    Jan 8, 2025 via iPhone
    13
    @shunia 宏碁,蟹蟹你
    cbythe434
    cbythe434
    Jan 8, 2025
    14
    @yishibakaien 比大师门徒吗
    hadoop
    hadoop
    Jan 8, 2025
    15
    国内买不到吧
    ShawnSky
    ShawnSky
    Jan 8, 2025
    16
    整个 pcie 、支持显示接口;如果还能打游戏,该多好哈哈哈哈哈
    NuU904Nbd6wClDX4
    NuU904Nbd6wClDX4
    Jan 8, 2025
    17
    arm+linux 主机。感觉少了一半用户了。
    HelixG
    HelixG
    Jan 8, 2025
    18
    两块都装不下 deepseek v3 ,感觉很悬
    yishibakaien
    yishibakaien
    OP
    Jan 8, 2025 via iPhone
    19
    @HelixG 两个 5 万块,deepseek v3 670B ,可以部署吧,门槛降低了很多很多
    pakro888
    pakro888
    Jan 8, 2025
    20
    @yishibakaien #19 In addition, using NVIDIA ConnectX® networking, two Project DIGITS AI supercomputers can be linked to run up to 405-billion-parameter models.
    两台最多 4050 亿参数,运行不了吧
    yishibakaien
    yishibakaien
    OP
    Jan 8, 2025 via iPhone
    21
    @pakro888 噢噢 那看起来不够,要 4 台,目前还不知道支不支持 4 台互联
    lovestudykid
    lovestudykid
    Jan 9, 2025
    22
    瓶颈除了显存,还有显存带宽。给你一秒 5 个 token 写代码,你等得起吗?
    twinsant
    twinsant
    Jan 9, 2025
    23
    想买
    HelixG
    HelixG
    Jan 9, 2025
    24
    估计这玩意还需要几年才能成熟,什么时候能单机跑 500b 才有的谈
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   5316 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 57ms · UTC 01:29 · PVG 09:29 · LAX 17:29 · JFK 20:29
    ♥ Do have faith in what you're doing.