zhoudaiyu

新版本的 K8s 在使用 nodeport 类型的 Servive 时在 node 上看不到监听的端口了,请问是做过什么改动吗?

  •  
  •   zhoudaiyu · Sep 12, 2022 via iPhone · 5099 views
    This topic created in 1519 days ago, the information mentioned may be changed or developed.
    最近搞了一两套新版本的 K8s ( 1.24 和 1.25 ),发现即便 Service 使用 nodeport 暴露,在 node 上也看不到 kube-proxy 监听的端口了,但是 nodeport 访问是正常的。我们用的老版本集群( 1.21.0 和 1.13 )都是有端口监听的。请问是高版本做了哪些改动吗?因为我们大量使用 nodeport ,这样可能要改动 service 的监控脚本。
    20 replies  •  2022-09-15 09:24:24 +08:00
    risky
    risky
    Sep 12, 2022
    1
    cy ,1.24.3 的集群,确实没有端口了,一度以为是故障,原因未知
    fengye0509
    fengye0509
    Sep 12, 2022
    2
    nodeport 访问是正常的 --这个表现是什么样的?
    lozzow
    lozzow
    Sep 12, 2022 via Android
    3
    用 iptables 做了转发吧
    momocraft
    momocraft
    Sep 12, 2022
    4
    在 node 上也看不到 -- 这个是指怎么看的
    Cyshall
    Cyshall
    Sep 12, 2022 via iPhone
    5
    是用 netstat 看的端口监听这种吗?
    lhx2008
    lhx2008
    Sep 12, 2022
    6
    以前端口监听也只是占住端口不让不让别人用了,实际是走的 iptables ,不过如果是外部访问就比较麻烦了
    xzysaber
    xzysaber
    Sep 12, 2022
    7
    iptables -tnat -L 看看吧。
    zhoudaiyu
    zhoudaiyu
    OP
    Sep 12, 2022 via iPhone
    8
    @risky 我们 24 25 都是这样的,木有端口
    @fengye0509 在集群外访问 nodeport 是没问题的
    @lozzow
    @momocraft 用 ss -antlp 看不到
    @Cyshall 对,我是用的 ss 看的
    @lhx2008 没错,现在就是担心有别人占用端口
    @xzysaber 明天我上班看一下老哥
    Cyshall
    Cyshall
    Sep 12, 2022 via iPhone
    9
    @zhoudaiyu 那这太奇怪了,我用 Linux 这么多年第一听到…
    momocraft
    momocraft
    Sep 12, 2022
    10
    我也遇到到过 k8s 服务 listen 的端口用 netstat 看不到的情况

    可能和 network ns 有关
    dyrex
    dyrex
    Sep 12, 2022 via Android
    11
    是的,高版本的 k8s 确实不再监听端口了,直接走 ipve 规则了
    dyrex
    dyrex
    Sep 12, 2022 via Android
    12
    @dyrex 不好意思打错了,ipvs 规则
    zhoudaiyu
    zhoudaiyu
    OP
    Sep 12, 2022
    13
    @dyrex #11
    @dyrex #12 您好,我翻了很久 k8s 版本更新记录和博客,但是没有找到关于这个变化的代码提交记录。您能找到一些相关资料不?十分感谢!
    zhoudaiyu
    zhoudaiyu
    OP
    Sep 12, 2022
    14
    @momocraft #10 可是问题是 2 个集群都这样,内核啥的也都不一样,不知道为啥,可能是#12 大哥说的确实不监听了吧
    lrh3321
    lrh3321
    Sep 13, 2022
    15
    是 kube-proxy 自动选择用 ipvs 模式了吧。ipvs 模式估计就不用再额外去占住端口了
    julyclyde
    julyclyde
    Sep 13, 2022
    16
    不是很古代 kube-proxy 就用 iptables 了吗?
    我记得好像 2018 年还是 2019 年开始?
    julyclyde
    julyclyde
    Sep 13, 2022❤️1
    17
    你的监控脚本从设计上就有问题啊
    不是以是否能连通为检查标准,而是以是否有监听为检查标准?
    Nitroethane
    Nitroethane
    Sep 14, 2022❤️3
    18
    看看这个 PR:kube-proxy: remove port opener ,https://github.com/kubernetes/kubernetes/pull/108496
    主要原因有两个:一个是 kube-proxy 监听端口是发生在 iptables/ipvs 转发规则建立好之前的,在这段时间内访问这个端口的流量并不会转发到后端容器中,很多客户端此时需要重启以重新建立连接。另一个原因就是这种模式会造成很多 dangling TCP 连接。
    zhoudaiyu
    zhoudaiyu
    OP
    Sep 14, 2022
    19
    @julyclyde #17 不是我写的,是别人写的
    julyclyde
    julyclyde
    Sep 15, 2022
    20
    @zhoudaiyu 改改吧
    我觉得这种检查还是“k8s 之前那个时代”的做法
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   3974 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 36ms · UTC 06:01 · PVG 14:01 · LAX 22:01 · JFK 01:01
    ♥ Do have faith in what you're doing.