V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  Yserver  ›  全部回复第 1 页 / 共 13 页
回复总数  247
1  2  3  4  5  6  7  8  9  10 ... 13  
没发现 我是旧的 30Mbps 轻量 你这种大概率是阿里限速了吧
4 天前
回复了 Yserver 创建的主题 Claude [急]大量收 Claude 官 key
@nfksuk #1 可能是
这个内容有什么意义?大部分中转站都是有不同渠道和不同模型的
@fengyaochen #14 pve 里面装 ros 会让拓扑图变得很乱 我感觉服务还是不少的
阿里的忙时比官网会长很多 不过阿里可以做折扣
好复杂的架构 专业!
测了一下 dflash 上下文不够长了
单卡 NVIDIA RTX 5880 Ada bench_one_batch_server
`--mamba-full-memory-ratio 0.5 --mem-fraction-static 0.94`(并发 3 / 上下文 17.3 万 token)

## 单批矩阵(并发 1/2/3)

| batch | 输入长度 | Prefill 吞吐 (tok/s) | Decode 吞吐 (tok/s, 聚合) | Decode 单步时延 |
|---|---|---|---|---|
| 1 | 1024 | 3,341 | 76.8 | 13.0 ms |
| 1 | 4096 | 3,380 | 81.4 | 12.3 ms |
| 2 | 1024 | 3,442 | 159.3 | 12.7 ms |
| 2 | 4096 | 3,320 | 204.3 | 9.7 ms |
| 3 | 1024 | 3,451 | 187.1 | 16.1 ms |
| 3 | 4096 | 2,934 | 493.0 | 6.1 ms |
还比较便宜了
@zhaoziling #44 H3 我 48g 的跑 fp8 都好慢
我看到 sglang 好像是可以使用 dspark 的 --speculative-algorithm DSPARK 这个应该也会对性能有较大提升吧
@viweei #41 阿里云的费用我觉得还是不会出问题的...他们的计费还是挺详细的
太 amazing 了
@qwvy2g #8 pon 我记得也有加密的 就算是没加密 那么让光猫收不属于他的包也有点麻烦
如果是开发的话 建议在国外吧 网络环境会好不少
11 天前
回复了 majuzhang 创建的主题 Local LLM 公司本地部署开源模型
@shelken #49 确实是这样的嘛?我在网上搜到的大部分数据是 10%左右的性能损失
12 天前
回复了 burden7 创建的主题 程序员 大家有推荐的去 AI 味 skill 吗
@zhuanggu #4 xhs 真的管 AI 吗 我看一堆垃圾贴
12 天前
回复了 crc8 创建的主题 云计算 换运营商云服务器好吗?
@cyaki #40 我去问了一下 沪日专线端内 24MS 99.9%SLA 比这个便宜 50%左右 可以做延迟承诺 如果阿里云到入口也需要有保障的话 我们得要看具体情况了 方便加个微信吗 YangHaoNing021
13 天前
回复了 crc8 创建的主题 云计算 换运营商云服务器好吗?
@cyaki #34 现在用量是多少?我去看看别家有没有方案
14 天前
回复了 crc8 创建的主题 云计算 换运营商云服务器好吗?
@cyaki #31 阿里也忒贵了 你们用过别家的 IPLC ?想问一下你们的架构是什么样的,国内机在阿里云上吗
1  2  3  4  5  6  7  8  9  10 ... 13  
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2860 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 32ms · UTC 15:25 · PVG 23:25 · LAX 08:25 · JFK 11:25
♥ Do have faith in what you're doing.