clow's recent timeline updates
clow

clow

V2EX member #473663, joined on 2020-03-02 19:05:35 +08:00
clow's recent replies
补充一个同源的坑,也是这套并发模型里最反直觉的一处:64 个 worker 各持一个指向同一文件的 fd ,如果各自周期性 fdatasync ,等于每个周期把整个文件的脏页重复刷 N 遍,磁盘直接被打满。

后来做了个全局合并闸:整文件级别每 2 秒至多一次 fdatasync ,并且只有当这次 fsync 的 [起始时刻] 晚于某个段自己 flush 的时刻,才允许把该段的进度偏移写进 DB 。维持「 DB 里记录的偏移 <= 已经被 fsync 覆盖的字节」这个不变式,崩溃恢复才不会在文件里拼出一个洞。

所以内存里明明下到 1.2G ,DB 里只敢写 1.19G ,差的那点是还没落盘的。这条不变式一开始没有,表现是断电重启后续传的文件 md5 偶尔对不上,非常难查。
@ko20 看到了,这两天我看下,有点改不过来了。。突然涨这么多 star 咋🥲🥲
@tcpdump yt-dlp 支持的都可以,但目前插件只开放了几个平台,可以参考实现修改下就可以。
@tcpdump 官方不提供插件,可以自行实现😀
@ssack9 感谢支持~多多提建议😀
@peppapig scoop 源是 qq 群友维护的,我明天艾特他问问
@ko20 提个 issue 关注下,这两天我看看
@love4taylor apple 需要花钱噻, 没钱去开开发者账户, 准备后续加上更多功能(不违反规则的情况下)有小小收益的情况下会去实现, 但现在是维护下去并且做好~
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1021 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 17ms · UTC 18:59 · PVG 02:59 · LAX 11:59 · JFK 14:59
♥ Do have faith in what you're doing.