记一次异常断电造成kubernetes故障

PaperDragon2023年8月18日...大约 5 分钟

记一次异常断电造成kubernetes故障

断电造成kubernetes故障

http://31mwww.linuxea.com/2580.html https://blog.csdn.net/liuyij3430448/article/details/130406844 因为宿主机系统 esxi 的内存条老化，导致esxi异常关机。内部虚拟机全部断电。总共30几台吧。
经过检查和擦拭内存金手指，服务器正常开机。
老家伙你不能倒下啊。你不run了我就得run啊。。。

服务器显示状态

处理存储空间问题

所幸，os 层面并没有损坏。系统正常的开机。硬盘已经满了。不知道这个设备之前是怎么在磁盘根目录100%的情况下还能正常运行的。

发现异常

vim在保存任何文件的时候都会显示vim.viminfo报错。
运行速度非常缓慢

经过检查是根目录存储空间不足。

cd /var/log
rm -rf vmware-*
rm -rf *{0..9}
rm -rf *.tar.gz

经过上边的处理之后，系统重启，速度变快了。

集群节点信息和日志

这个是一个远古集群，版本是1.18，主要运行一些runner。没做很多的监控告警，处理起来非常棘手。先看master节点的解决思路，master节点不解决，slave不会起来。

master2节点

kubelet启动异常，日志显示，当然kubelet启动不成功，其他组件也不可能起来。

failed to run Kubelet: unable to load bootstrap kubeconfig: stat /etc/kubernetes/bootstrap-kubelet.conf: no such file or directory

master3节点

kubelet启动异常，日志显示，当然kubelet启动不成功，其他组件也不可能起来。

failed to run Kubelet: unable to load bootstrap kubeconfig: stat /etc/kubernetes/bootstrap-kubelet.conf: no such file or directory

master1节点

因为各种原因吧，可能当时误删除了。。。但是集群正常运行也没在意这个。

临时解决这个问题

在/usr/lib/systemd/system/kubelet.service.d/10-kubeadm.conf中去掉--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf后重启

证书更新

经过查询，证书已经全部过期，使用kubeadm更新证书，然后集群并没有正常变为Ready。

使用命令更新

通过 kubeadm部署的k8s集群，默认生成的证书有效期是一年.需要每年更新证书.

1、查看证书有效期
kubeadm alpha certs check-expiration

2、更新证书，如果是HA集群模式，所有master需要执行
kubeadm alpha certs renew all

3、通过crontab定时更新证书
0 0 15 10 * kubeadm alpha certs renew all

4、证书过期kubectl命令无法使用
# 更新客户端配置
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config


-----------证书说明---------------

1.Kubernetes 集群根证书
/etc/kubernetes/pki/ca.crt
/etc/kubernetes/pki/ca.key

由此根证书签发的证书有:
  kube-apiserver 组件持有的服务端证书
    /etc/kubernetes/pki/apiserver.crt
　　/etc/kubernetes/pki/apiserver.key
  kubelet 组件持有的客户端证书
　　/etc/kubernetes/pki/apiserver-kubelet-client.crt
　　/etc/kubernetes/pki/apiserver-kubelet-client.key

注意：kubelet 上一般不会明确指定服务端证书, 而是只指定 ca 根证书, 让 kubelet 根据本地主机信息自动生成服务端证书并
保存到配置的cert-dir文件夹中。轮换的证书默认位于目录 /var/lib/kubelet/pki。

2.汇聚层(aggregator)证书
/etc/kubernetes/pki/front-proxy-ca.crt
/etc/kubernetes/pki/front-proxy-ca.key

由此根证书签发的证书只有一组:
  代理端使用的客户端证书, 用作代用户与 kube-apiserver 认证
    /etc/kubernetes/pki/front-proxy-client.crt
    /etc/kubernetes/pki/front-proxy-client.key

3.etcd 集群根证书
/etc/kubernetes/pki/etcd/ca.crt
/etc/kubernetes/pki/etcd/ca.key

由此根证书签发机构签发的证书有:
  etcd server 持有的服务端证书
    /etc/kubernetes/pki/etcd/server.crt
    /etc/kubernetes/pki/etcd/server.key
  peer 集群中节点互相通信使用的客户端证书
    /etc/kubernetes/pki/etcd/peer.crt
    /etc/kubernetes/pki/etcd/peer.key
  pod 中定义 Liveness 探针使用的客户端证书
    /etc/kubernetes/pki/etcd/healthcheck-client.crt
    /etc/kubernetes/pki/etcd/healthcheck-client.key
  配置在 kube-apiserver 中用来与 etcd server 做双向认证的客户端证书
    /etc/kubernetes/pki/apiserver-etcd-client.crt
    /etc/kubernetes/pki/apiserver-etcd-client.key

这时kubelet已经启动，但是NotReady。差不多是下面这种情况，因为当时并没有详细记录这块。

[root@xxx ~]# kubectl get node
NAME      STATUS                        ROLES    AGE    VERSION
xxx    NotReady   master   647d   v1.18.1
xxx   NotReady                         <none>   647d   v1.18.1
xxx   NotReady                         <none>   647d   v1.18.1

命令更新的缺陷和修复[control-plane&&worker都需要更新]

报错

# kubelet
1518 bootstrap.go:265] part of the existing bootstrap client certificate is expired: 2024-02-23 08:13:25 +0000 UTC
1518 server.go:273] failed to run Kubelet: unable to load bootstrap kubeconfig: stat /etc/kubernetes/bootstrap-kubelet.conf: no such file or directory
# api-server
I0427 00:51:31.877435       1 log.go:172] http: TLS handshake error from 192.168.0.124:56108: EOF
I0427 00:52:22.075177       1 log.go:172] http: TLS handshake error from 192.168.0.124:42214: EOF
I0427 00:53:45.493054       1 log.go:172] http: TLS handshake error from 192.168.0.160:35706: EOF

进入各个节点的 /var/lib/kubelet/pki文件夹查看kubelet的证书发现还是老证书由此可以证明 kubeadm alpha certs renew all命令不会更新kubelet证书

所以此时k8s集群还是不可用状态

这里可以使用admin.conf中的证书信息替换所有节点的中kubelet.conf 证书信息

即admin.conf中的client-certificate-data 与 client-key-data  
替换kubelet.conf  client-certificate 与 client-key

借鉴来源 https://blog.csdn.net/liuyij3430448/article/details/130406844

kubelet.conf 原始配置

kubelet.conf 替换后

所有节点替换完成后可以看到 /var/lib/kubelet/pki 文件夹下生成了新的kubelet-client证书

此时再恢复kubelet.conf 中的原始配置即可（不恢复也可以正常使用）

apiserver和etcd组件修复

查询组件，apiserver一直启动不起来。

从证书表格中查询到，apiserver使用了这些证书，是已经更新过了。

    /etc/kubernetes/pki/apiserver-etcd-client.crt
    /etc/kubernetes/pki/apiserver-etcd-client.key

日志显示

....
Error: context deadline exceeded

原因是因为etcd的节点不健康

使用以下命令解决问题

## 配置环境
# export ETCDCTL_API=3
# alias etcdctl='etcdctl --endpoints=https://127.0.0.1:2379 --cacert=/etc/kubernetes/pki/etcd/ca.crt --cert=/etc/kubernetes/pki/etcd/server.crt --key=/etc/kubernetes/pki/etcd/server.key'

## 查看 etcd 集群成员列表
# etcdctl member list
a9b6a1341829d62a, started, k8s-master03, https://172.20.5.13:2380, https://172.20.5.13:2379, false
d1c737a26ea4dd70, started, k8s-master01, https://172.20.5.11:2380, https://172.20.5.11:2379, false
fe2d4a2a33304913, started, k8s-master02, https://172.20.5.12:2380, https://172.20.5.12:2379, false

## 删除 etcd 集群成员 k8s-masterxxx
# etcdctl member remove fe2d4a2a33304913
Member fe2d4a2a33304913 removed from cluster 36067d1f1ca3f1db

## 退出容器
# exit