因为企业安全原因，不可能让资料上公网大模型。 DeepSeek-R1-Distill-Qwen-14B/32B 这些类似的，能不能承担企业级别的查询呢？
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
 |
1
Conty 11h 52m ago via Android
在国内吗？ GPU 咋解决？
|
 |
2
shintendo 11h 41m ago
R1 ？我看错了吗
|
 |
3
moonvstod 10h 9m ago
企业低可以考虑 dgx ，一台部署 qwen27B ，两台 ds 4.1 flash ，单台成本不到 4 万
|
 |
4
drupal 9h 48m ago
DeepSeek-R1-Distill-Qwen-14B/32B
企业级别的查询要看并发，还有上下文。 一台 dgx Qwen3.8 27B NVFP4 ，开启 vllm ，128K ，并发 5 个，实测 2 个人用问题可以接受 |
 |
5
twk93 PRO 14B/32B 做内网文档问答够用，但别指望它直接扛「企业级查询」。先把检索做扎实：按标题切块、带上路径，top-k 控制在 5 以内。文档又乱又长的时候，换更大的模型基本没用。就几个人用的话，一张 24G 跑 14B 的 Q4 就行，比整机便宜多了。
|
 |
6
kennylam777 9h 32m ago
是不是問了一個沒打開 web search 又沒 agent 的 Webchat AI, 還 R1 Distill 也太舊了吧.....
你有 GPU 資源嗎? 直接試試 Qwen 3.8 系列或者 Gemma4 啊 |
 |
7
jinsongzhaocn 8h 53m ago
大家怎么不是关注 toB 创业，而且是 AI 偏高端企业，首先是有多少企业会找你买？企业采购，靠投放广告基本没用的。
|
 |
8
defa21312 7h 17m ago
qwen3.8flash-next,每 1 万块钱能得到 1k prefill 和 50 decode 。122b 效果比那些 7b 14b 27b 32b 都好，好得多。1w 的方案有 5070+64g d4 内存。再向上 2w 的方案有 4090/5090 改大显存。
|
 |
9
qinbingchen OP @kennylam777 R1 这都不是重点，就是内网部署，现在有没有能用的性价比的模型，企业实践过的，要是太贵了压根没人玩。
|
|
10
qinbingchen OP @defa21312 企业内部真实部署么？跑的起来的。 硬件成本感觉最多 3w 吧
|
|
11
qinbingchen OP @twk93 大佬，就是中型企业 200 人规模的。 并发估计也不大，最多几个人。 您这边有实践么？ 24G 跑 14B 的 Q4 。
|
|
12
qinbingchen OP @drupal 看起来，您这边是企业部署用上了。
|
|
13
qinbingchen OP @moonvstod 硬件预算不能太高了，不然这单没法做了，企业觉得都不划算啥的。5w 感觉都是顶了，能更便宜最好。而且能让企业并发来说几个人，还可以扛住。一般企业也就几百个人。
|
 |
14
94 6h 6m ago
/t/1250179
隔壁这个帖子是不是也是你发的😂 |
|
15
qinbingchen OP @94 不是呀 哈哈哈 这么像
|
 |
16
fiht 5h 48m ago
5w 就是一张 5090 的价格😄，很难了。
|
 |
17
qiuhang 5h 41m ago
看看要干啥吧，如果是某些垂直领域的场景的话，试试蒸馏 deepseek R1 特化训练个小模型？
|
 |
20
Haku 5h 34m ago
你可以试试 MiniMax M3.1 ，或者 DSF4.1 ，前者应该成本更低，后者应该是本地部署最性价比的选择。
200 人规模，买 4 台 DGX SPARK 部署 DSF4.1 好了 |
|
21
kennylam777 5h 33m ago via iPad
@qinbingchen 我家中有三片 3090 ，一片 4090 ，及一片 5090 ，另外有長期部署的 GPU 及 LLM 應該有資格說話吧。
Qwen Flash Next 性價比最強，16G VRAM 能跑，另一個是 Qwen 35B MoE ，Dense 的話你錢不夠。 但問題是我看你對模型的基礎能力好像沒概念，你指定要 14B Q4 沒問題，但問題是哪款模型都沒選好？ 14B 這是上一代的 Dense 大小，現時很多人寧願用更多參數的 MoE 。 |
|
22
kennylam777 5h 31m ago via iPad
@qiuhang 的確，每個人都說 Qwen 好，實測過有些小任務還是 Gemma 適合，實測最重要，沒試過就直接取報價的實在過不去。
|
|
23
qinbingchen OP @kennylam777 我没指定 小模型没怎么玩过。就是先调研下大家，有没有私有化部署的经验案例
|
|
24
qinbingchen OP 实在不行，就看看能不能脱敏非安全数据走公网了，toB 这里一直是卡点。
|
 |
25
yingqi7 39 mins ago
企业用户可能在同一时段集中使用，更关注高峰期处理能力 8*H20-3e
可同时执行约 20 ～ 25 项后台分析任务 繁忙时完成一项任务约需 40 ～ 70 秒 部署预算约 320 万元（仅参考） 企业更关注首期采购成本，且可以接受高峰期适当排队 8*A800(2*TP4) 可同时执行约 10 ～ 14 项后台分析任务 繁忙时完成一项任务约需 50 ～ 70 秒 部署预算约 100 ～ 200 万元（仅参考） 这个是我们公司产品的推荐配置。感觉再低就成玩具了 |
Select Language