公司有点规模，搞了几千万预算部署了一些国产开源大模型，然后流程上要求高敏业务的智能体必须使用本地化模型。
从技术的角度讨论下看，这个事还能继续走下去吗？
已知的问题： 1.不如云厂商提供的模型兼容性好 2.偶尔还有 bug ，比如 tool call bug 3.这个预算碰到 k3 这种模型根本部署不起
还会有什么问题？你怎么看？
This topic created in 102 days ago, the information mentioned may be changed or developed.
 |
jacketmaJul 25
1
部署哪家的大模型，可以找官方支持服务啊，人家包你调试的
|
 |
demonvincJul 25
2
几千万 K3 还是够的
|
 |
wombatJul 25
3
从模型参数看，和 K3 相比，GLM5.2 私有化部署性价比更高，已经满足日常使用的需求。K3 ，看公开的使用体验，并没有高出很多。 tool call 的问题，GLM5.2 应该少了很多。问题不大。
|
 |
superkkkJul 25
5
H200*8 或者 B300*8 吧，买机器的钱够冲 token 用 10 多年估计没问题
|
 |
tolbkniJul 25
6
同楼上，这个预算能搞 B300 搞 B300 ，然后跑 GLM5.2 不比 K3 效果差多少，但对显存要求低了很多
|
 |
isbaseJul 25 via iPhone
7
这技术上当然没毛病 大公司基本上都有自己的私有化 AI 云
|
 |
AtmaJul 25
8
自己部署一部分，然后购买厂商的一部分，分级使用
|
 |
csliveJul 27
9
tool call bug 是部署模型不行，量化部署还是可以的
|
 |
Meteora626Jul 27
10
1.不如云厂商提供的模型兼容性好
2.偶尔还有 bug ，比如 tool call bug 这两个是咋得出来的结论？现在云厂商也基本上 vllm 直接部署，按量缩放，配置好参数不会有问题 3.这个预算碰到 k3 这种模型根本部署不起 几千万 k3 足够了 |
Select Language