Windows、 Linux 平台支持类似于 apple M 系列芯片的 Unified Memory Architecture(UMA)架构吗, AI 模型跑不起来...

This topic created in 931 days ago, the information mentioned may be changed or developed.

目前在试着跑了下开源的大模型，发现大模型数据比较占用显存，一般消费级别的显存都很小，不会超过 16G ，但是稍微参数大些的模型数据就超过 16G 了，当加载模型数据到显存时显然是不够的，然后发现程序就完全在硬盘上推理，速度奇慢无比，如果显卡能使用内存加显存岂不是很爽，再大的模型都可以加载，而且不用跑的那么慢有大佬比较清楚吗，可以详细说说么

uma

显存

推理

5 replies • 2024-04-25 08:44:07 +08:00