最近搞了一两套新版本的 K8s ( 1.24 和 1.25 ),发现即便 Service 使用 nodeport 暴露,在 node 上也看不到 kube-proxy 监听的端口了,但是 nodeport 访问是正常的。我们用的老版本集群( 1.21.0 和 1.13 )都是有端口监听的。请问是高版本做了哪些改动吗?因为我们大量使用 nodeport ,这样可能要改动 service 的监控脚本。
|
riskySep 12, 2022
1
cy ,1.24.3 的集群,确实没有端口了,一度以为是故障,原因未知
|
|
fengye0509Sep 12, 2022
2
nodeport 访问是正常的 --这个表现是什么样的?
|
|
lozzowSep 12, 2022 via Android
3
用 iptables 做了转发吧
|
|
momocraftSep 12, 2022
4
在 node 上也看不到 -- 这个是指怎么看的
|
|
CyshallSep 12, 2022 via iPhone
5
是用 netstat 看的端口监听这种吗?
|
|
lhx2008Sep 12, 2022
6
以前端口监听也只是占住端口不让不让别人用了,实际是走的 iptables ,不过如果是外部访问就比较麻烦了
|
|
xzysaberSep 12, 2022
7
iptables -tnat -L 看看吧。
|
|
8
|
|
momocraftSep 12, 2022
10
我也遇到到过 k8s 服务 listen 的端口用 netstat 看不到的情况
可能和 network ns 有关 |
|
dyrexSep 12, 2022 via Android
11
是的,高版本的 k8s 确实不再监听端口了,直接走 ipve 规则了
|
|
13
|
|
lrh3321Sep 13, 2022
15
是 kube-proxy 自动选择用 ipvs 模式了吧。ipvs 模式估计就不用再额外去占住端口了
|
|
julyclydeSep 13, 2022
16
不是很古代 kube-proxy 就用 iptables 了吗?
我记得好像 2018 年还是 2019 年开始? |
|
17
你的监控脚本从设计上就有问题啊
不是以是否能连通为检查标准,而是以是否有监听为检查标准? |
|
18
看看这个 PR:kube-proxy: remove port opener ,https://github.com/kubernetes/kubernetes/pull/108496
主要原因有两个:一个是 kube-proxy 监听端口是发生在 iptables/ipvs 转发规则建立好之前的,在这段时间内访问这个端口的流量并不会转发到后端容器中,很多客户端此时需要重启以重新建立连接。另一个原因就是这种模式会造成很多 dangling TCP 连接。 |