你们有搞 gpu 算力平台的吗

wangbin11 · 2024-03-09T07:26:55Z

idc 的显卡租赁太贵了用普通用户的显卡，去跑那些模型服务相当于 pcdn 用存储和宽带，而你我得朋友你用用户的显卡我想看看 V2EX 有作这方面的吗

GPU

算力

租赁

40 replies • 2024-04-18 21:18:45 +08:00

dayeye2006199

Mar 9, 2024

2

1

我只能说，搞一堆 4090 做计算集群的，可能连 data sheet 都没读过。
数据中心卡为什么是数据中心卡，游戏卡为什么是游戏卡，都是有关键不同点的。

yanest

Mar 9, 2024

1

2

都是想当然的，以为一个机器插 8 个 4090 就能 8 倍算力了，赶超 h100 了

luckyc

Mar 9, 2024

3

搞了 6 块 4080 算吗?

ETiV

Mar 9, 2024

4

https://github.com/b4rtaz/distributed-llama

Run LLMs on weak devices or make powerful devices even more powerful by distributing the workload and dividing the RAM usage.

stoneabc

Mar 9, 2024

5

@dayeye2006199 4090 做推理用，多数场景完爆一堆数据中心卡…只能说老黄真是暴利

wangbin11

OP

Mar 9, 2024

6

@all ，大佬们我说的是如何便宜的使用而不是说几倍算力注意审题

tap91624

Mar 9, 2024

7

pcie 带宽有限，都得上 nvlink ，家用卡做算力集群怎么可能这么简单

R4rvZ6agNVWr56V0

Mar 9, 2024

8

只有玩具意义，没有生产意义。

doublebu

Mar 9, 2024

9

带宽有限不太适合大模型。但是也有相关项目： https://stablehorde.net/

MIUIOS

Mar 9, 2024

10

io.net

wangbin11

OP

Mar 9, 2024

11

@totoro52
@doublebu 牛哦，国内有没有，我想去谈合作

MIUIOS

Mar 9, 2024

12

@wangbin11 #11 国内不太清楚哦，这个平台目前不支持国内，会被租出去但不会给费用

doublebu

Mar 9, 2024

13

@wangbin11 国内不清楚，如果你是有算力的话，可以尝试在咸鱼租用。我朋友 2080ti 22g 的魔改卡租给出图的，好像是 9 块钱一天。

kneo

Mar 9, 2024 via Android

14

这种是咸鱼小作坊模式。

neopenx

Mar 9, 2024

15

ToC 做分布式算力，用户机器的稳定性和数据隐私都是问题。自己搞搞玩玩可以，出了事故就完蛋了

cczh678

Mar 9, 2024

16

有，在这里，提供 AI 训练平台提供 AI 训练推理的过程资源管理和效能服务； GPU 池化解决方案，保护 GPU 投资，让 GPU 共享，发挥最大效率；提供 AI 训练推理高性能存储资源池，同时也做 LLM 大模型一体机建设，基础设施和平台一体化交付，有端到端的 AI 基础设施解决方案，希望和您取的联系，加强合作。

cczh678

Mar 9, 2024

17

@wangbin11 我这边可能能帮上 OP 的忙。

xxb

Mar 10, 2024 via Android

18

有的，我就是相关的人

dayeye2006199

Mar 10, 2024 via Android

19

@stoneabc 啥完爆，推理这种暂且不论模型太大需要做分布式推理的，一上通讯游戏卡直接速度原地爆炸的。
就说完全不需要通讯的，资源分割和池化，mig vgpu 啥也不支持，利用率直接跌穿地板

wangbin11

OP

Mar 10, 2024

20

@xxb 有没有兴趣加个好友聊聊认识下

s2555

Mar 10, 2024

21

我怎么听着好像挖坑那一套，发币给报酬

GeruzoniAnsasu

Mar 10, 2024

22

你们想做平台还是采购算力，我这有个国内搞这些的群

streamrx

Mar 10, 2024 via iPhone

23

搞算力是要很中性化拼成本拼效率的，分散的 gpu 哪些电脑稳定性网速根本就跟不上。rndr io.net akt 就是搞去中心化算力的炒作价值拉满实际意义根本不大。但是这些币值得买 ai 在币圈太牛逼了

PbCopy111

Mar 10, 2024

24

没看到你的问题呀，你问什么呢？

wangbin11

OP

Mar 10, 2024

25

@all ，感谢大家的回复，我加了一些人，也了解了，感谢哈

wangbin11

OP

Mar 10, 2024

26

@streamrx 大佬说的很中肯，那些投资人就喜欢投资这种短平快

vincent7245

Mar 10, 2024 via Android

27

我两块捡破烂的 P40 照样搞的热火朝天

kennylam777

Mar 11, 2024

28

不如先看看 https://vast.ai

但最少要求是可靠的 Internet, 家中的就算了, 礦場一類的規模還是有機用的

shijingshijing

Mar 11, 2024

29

你猜为什么 H100 这种都要不计成本的上 HBM ？为什么要用昂贵的 NVLink 而不是 PCI-E ？ NVIDIA 为什么要花大价钱收购一个做数据中心网络的 Mellanox ？

FlashEcho

Mar 11, 2024

30

@dayeye2006199 太想当然了，有的公有云也有游戏卡可以租，对于推理来说性价比够高，数据中心里不全是计算卡

dayeye2006199

Mar 11, 2024

31

@chesha1 您这才是在想当然把。。nvidia 的 EULA 您都没了解过把？消费级显卡不是不允许在数据中心环境下使用的，你这说的云都是什么野鸡云

FlashEcho

Mar 11, 2024

32

@dayeye2006199 那你去向 NVIDIA 举报吧，百度云里就有不少 3090

dayeye2006199

Mar 11, 2024

33

@chesha1 请不要散布不实信息，百度云 GPU 全系都是数据中心系列的 tesla 的卡

wlm907091813

Mar 11, 2024

34

有，我们在成都有算力池，消费级别的有 3090 ，4090 那些，企业级别的就是 A100 等

FlashEcho

Mar 11, 2024

35

@dayeye2006199 百度云 GN3 就有 3090 的型号，现在创建新的只有 V100 T4 这些卡了，但是还有存量的 3090

stoneabc

Mar 11, 2024

36

@dayeye2006199 我说的就是普通模型的推理，搞分布式推理当然不行。但就我了解到的，云上目前大部分推理资源都还是用于普通模型推理。另外 vgpu 、MIG 虽然不支持，但各云厂商都有自己的切分技术，cGPU qGPU ，想提高利用率的方法多了去了。

stoneabc

Mar 11, 2024

37

@dayeye2006199 你也太理想化了…国内几个厂商都有消费级卡，你想举报可以去 NV 举报，看它管不管：）

234ygg

Mar 11, 2024

38

大项目的话完全不可行，别说一堆乱七八糟的显卡了，就算是正经服务商，全用 a100 都能导致各种不一致。cpu 超算也有类似问题。

冗余度接受度极高的小项目也许可行。。。其实这也就是未来的 edge computing ，现在很多家都在做。。。（但此游戏的核心是储能和超低延迟，不是算力）
分布式计算当年 seti 和 folding 项目早就玩过了，上个世纪就发现几乎各个环节都有无法规避的问题，其实 btc 也是那帮人后来搞出来的。（看得懂的估计不多，80 年代的大师应该知道我说的是什么）

Satansickle

Apr 16, 2024

39

@wangbin11 同感兴趣，拉个群聊呗 eHN3d3BwcA==

wangbin11

OP

Apr 18, 2024

40

@Satansickle 没有咯，看看而已