osilinka
V2EX  ›  Local LLM

本地部署的大模型 Edge0

  •  
  •   osilinka · 18h 10m ago · 902 views

    https://github.com/Edge0-AI/Edge0 Device-native foundation models: 145B on a laptop, 35B on a phone. Latent MoE, SSD-streamed weights, a router that predicts loads a step ahead. Mac, iPhone, Android, Windows.

    感觉这个,加上一些订阅的模型 可以省很多成本啊

    5 replies  •  2026-11-20 16:08:08 +08:00
    hanguofu
    hanguofu
    9h 5m ago via Android
    1
    好消息!需要多大显卡?
    osilinka
    osilinka
    OP
    8h 33m ago
    2
    16 到 24 的都可以
    当然越高越好
    R1ta
    R1ta
    8h 6m ago
    3
    可以多并行吗?
    sentinelK
    sentinelK
    7h 6m ago
    4
    分和 QFN 基本一致,性能也基本一致,参数也差不了多少。

    这感觉好迷。不知道推理架构是否和 strata 一致?conversation-cache 怎么处理的?热缓存、温缓存和 strata 的处理有差异吗,我看作者没有仔细陈述。
    jinsongzhaocn
    jinsongzhaocn
    1h 24m ago
    5
    这就放弃 30,40 系列了
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4022 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 35ms · UTC 09:32 · PVG 17:32 · LAX 01:32 · JFK 04:32
    ♥ Do have faith in what you're doing.