V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  leon0318  ›  全部回复第 53 页 / 共 168 页
回复总数  3351
1 ... 49  50  51  52  53  54  55  56  57  58 ... 168  
❮ ❯
2022 年 9 月 19 日
回复了 leesamsik 创建的主题 › iPhone › 给用外版带 esim 功能的各位推荐个软件
@zilil #25 国内三大运营商目前 5G 最多跑 1000M 多点
2022 年 9 月 19 日
回复了 leon0318 创建的主题 › Java › Spark 如何精准控制消息的发送速率?
@noparking188 #13 是这样的,mafka 某个 topic 下面有几十个消费组(只有几台消费实例(机器)),spark 瞬间往 mafka 发了几千万消息,导致机器网卡瞬态流量非常大(网络流量约等于消费组数量*消息数*每条消息大小),cpu 瞬态使用率过高

所以在想是不是通过对 Spark 写入进行分布式限流,往 topic 里写慢点,这样消费组就不会出现瞬态负载过高的问题

消费端目前是只要来了立马消费
2022 年 9 月 19 日
回复了 fcmio 创建的主题 › iPhone › 今年想从日本海淘 iPhone ,有靠谱的转运么。
日版相机还有声音吗?
2022 年 9 月 19 日
回复了 leesamsik 创建的主题 › iPhone › 给用外版带 esim 功能的各位推荐个软件
@zilil 国内跑 3000M ?上个图看下呢
2022 年 9 月 18 日
回复了 leon0318 创建的主题 › Java › Spark 如何精准控制消息的发送速率?
@kkeep #5 是这样的,MQ 采用 mafka ,有多个消费组订阅 topic ,对于某个消费组来说,有很多无关消息(上亿),导致瞬态流量很大(虽然直接 return ),cpu 瞬态使用率过高
2022 年 9 月 18 日
回复了 leon0318 创建的主题 › Java › Spark 如何精准控制消息的发送速率?
@noparking188 #9 是这样的,有个问题在于,MQ 采用 mafka ,有多个消费组订阅 topic ,对于某个消费组来说,有很多无关消息(上亿),导致瞬态流量很大(虽然直接 return ),cpu 瞬态使用率过高
2022 年 9 月 18 日
回复了 leon0318 创建的主题 › Java › Spark 如何精准控制消息的发送速率?
@noparking188 #9 感谢,一般实践中是不会去控制"Spark 写 Parquet 文件"的速度,二是控制"DataX 之类工具读 Parquet 写 DB"的速度,是吧?

所以到我这块是要控制 MQ 消费的速度,而不是 Spark 发送 MQ 的速度
2022 年 9 月 18 日
回复了 leon0318 创建的主题 › Java › Spark 如何精准控制消息的发送速率?
@kkeep #4 或者再假设一个场景,比如 Spark 将最终处理结果写入 DB ,但是 DB 的写入 QPS 有限,这块该如何限制呢?
2022 年 9 月 18 日
回复了 leon0318 创建的主题 › Java › Spark 如何精准控制消息的发送速率?
@winglight2016 #6 或者再假设一个场景,比如 Spark 将最终处理结果写入 DB ,但是 DB 的写入 QPS 有限,这块该如何限制呢?
2022 年 9 月 18 日
回复了 Lambert2022 创建的主题 › Apple › iPhone 手机膜
挑便宜的就行
2022 年 9 月 18 日
回复了 e1o 创建的主题 › Java › 想请问下关于 ThreadLocal 的使用
@Hurriance 解释的很明白
2022 年 9 月 17 日
回复了 leon0318 创建的主题 › Java › Spark 如何精准控制消息的发送速率?
@ruanimal #1 感谢回答
1 、基于外部存储限流是一个挺好的解决方案,但不确定是不是最佳实践。另外,对 Spark 不太熟悉,不知道它有没有内置一些流控的方式呢?
2 、如何在运行过程中动态的获取 worker 的数目呢?感觉占用的 executor 也是运行过程中根据实际资源占用动态分配的
2022 年 9 月 17 日
回复了 badboy17 创建的主题 › Java › 关于限流组件,令牌桶和漏桶
"令牌桶可以允许突然的并发流量,但是漏桶不行"
-----------------------------------------------------------
没太理解这句话?
2022 年 9 月 15 日
回复了 alexcding 创建的主题 › Apple › 极客湾 A16 评测
@hellojay 那 13 更适合
2022 年 9 月 14 日
回复了 Glauben 创建的主题 › Apple › 没人讨论钟文泽 iPhone 14 的评测吗,感觉很不错啊。
@sharkli 内存影响切换是否加载卡顿,基带影响日常户外网络体验,可以说是日常最重要的了~什么灵动岛,什么 4800w ,都是锦上添花的东西……
2022 年 9 月 14 日
回复了 Glauben 创建的主题 › Apple › 没人讨论钟文泽 iPhone 14 的评测吗,感觉很不错啊。
基带,信号,内存……重要的一个没说
2022 年 9 月 14 日
回复了 icedrain 创建的主题 › 宽带症候群 › 南方确实不要用联通
另外联通上传 200M ?
2022 年 9 月 14 日
回复了 icedrain 创建的主题 › 宽带症候群 › 南方确实不要用联通
上海用联通稳的很啊,尤其外网
2022 年 9 月 13 日
回复了 Suonna 创建的主题 › iPhone › 请问本代 iPhone 评测解禁是什么时候呀
晚上 9 点吧
1 ... 49  50  51  52  53  54  55  56  57  58 ... 168  
❮ ❯
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2459 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 42ms · UTC 05:00 · PVG 13:00 · LAX 21:00 · JFK 00:00
♥ Do have faith in what you're doing.