- 从部署、厂商支持等角度来说
- 200w 以内显卡预算
This topic created in 152 days ago, the information mentioned may be changed or developed.
 |
xiaomushenJun 9
102
@coolair 谁会自己找不痛快用 HW 计算卡呢？还不是为了吃饭，甲方信创涉密机房，买了 HW 卡，丙方外协牛马捏着鼻子骂骂咧咧捣鼓
|
 |
JiajinJun 9
103
@Flagship9945 vllm-ascend+MindIE ，基本上主流开源大模型都覆盖全，都适配了。
|
 |
zzutmebwdJun 9
104
事实上除了 nvidia ，其他生态都是一坨，不是国产的锅，amd 也不行啊。
|
 |
yh7gdiaYWJun 9
106
@cpper 过度延伸了，你如果看过企业版的协议就知道，面向 C 端的 API 都在偷偷炼你的数据，企业版在此之上多一层法律保障但对涉密信息仍不保险。私有部署绝对是有必要的，最多争论下老黄的卡到底能不能买
|
 |
Meteora626Jun 9
107
只部署大模型，华为的卡 直接用他们提供的镜像就行了，为啥评论区部署 qwen 啥的都能出 bug ，华为微调不行，部署主流大模型是 OK 的。
|
 |
108
@Meteora626 #107 请问是类似这种的镜像吗？ https://ai.atomgit.com/SGLangAscend/Qwen3.5-122B-A10B
|
|
xiaomushenJun 9
109
@xiaxichen NPU 是旧时代的延续，那时候寒武纪大火，静态图的 Tensorflow ，yolo 之类，在 NPU 上跑得很好。大家都觉得 GPGPU 落伍了，纷纷发展 NPU
谁知道之后动态图大行其道，尤其是 LLM ，NPU 架构自然就落伍了呗。 |
 |
LaureatePoetJun 9 via iPhone
110
可以用 “沐曦”，不止大模型部署甚至跑实验，微调 几乎都没问题。楼上说的也对除了昇腾都是支持 cuda 的只不过不同厂商适配的速度不同 体验不同。 国内著名的 GPU 就那几家上市的
|
|
LaureatePoetJun 9
111
关于 Atlas 300I Duo 系列的卡，我当年也测试过，持保留意见。个人建议如果非要采购国产 GPU ，建议选择类 CUDA 路线的，国内目前上市的 GPU 公司都可在考虑范围内。
|
 |
photolifeJun 9
112
你来操作吗？？国企？？
能躲最好躲，除非你在利益层，拿大回扣然后给领导上供 出了问题你担责，很麻烦 |
 |
snoopygaoJun 9
113
垃圾 atlas ，浪费我 2 个月时间部署 qwen
|
|
Meteora626Jun 9
114
@Flagship9945 对，华为对主流大模型支持很快，但是冷门和微调困难
|
 |
zomcoJun 9
115
我是 atlas 的受害者
|
 |
google2023Jun 27
116
@coolair 一模一样的体验
|
 |
chahualaoAug 5
117
@michaelzxp 你看摩尔线程自己都部署了啥模型
|
 |
cherylaskinnero6Aug 24
118
如果国产是硬要求那 AWS 不适合；如果主要是算长期成本，我这边做 AWS ，云 GPU 和买卡可以帮你一起对比下。
|
Select Language