Klaster Kubernetes w wysokiej dostępności
Kworum etcd w k3s, zachowanie podów i danych przy awarii węzła, budżety zakłóceń oraz wspólny adres API (kube-vip, keepalived, zewnętrzny balancer) z diagnozą przeskoków adresu.
Trzy węzły serwerowe k3s z etcd w kworum chronią stan klastra, ale nie chronią aplikacji ani dostępu do API. Przy awarii jednego węzła aplikacja z jedyną repliką przestaje odpowiadać na co najmniej pięć minut, baza z woluminem na lokalnym dysku wyłączonej maszyny nie uruchamia się nigdzie indziej, a każdy klient skonfigurowany na adres padniętego węzła traci łączność z klastrem, choć dwa pozostałe serwery API działają. Dokument opisuje kworum etcd, zachowanie podów i danych po awarii węzła, budżety zakłóceń oraz trzy sposoby utrzymania wspólnego adresu API wraz z diagnozą jego przeskoków.
Kworum etcd
etcd przyjmuje zapisy, dopóki odpowiada większość jego członków (kworum). Liczba węzłów decyduje o tym, ile awarii klaster przeżyje.
| Węzły etcd | Kworum | Tolerowane awarie |
|---|---|---|
| 1 | 1 | 0 |
| 2 | 2 | 0 |
| 3 | 2 | 1 |
| 4 | 3 | 1 |
| 5 | 3 | 2 |
Dwa węzły są gorsze niż jeden, bo awaria dowolnego zatrzymuje zapisy. Czwarty węzeł nie dodaje odporności, a dokumentacja k3s wymaga nieparzystej liczby węzłów serwerowych. Zwykle właściwe są trzy węzły etcd, a pięć dopiero wtedy, gdy klaster ma przeżyć dwie jednoczesne awarie.
Trzy maszyny wirtualne z etcd na jednym hoście wirtualizacji tworzą jedną domenę awarii. Każdy węzeł serwerowy działa więc na innym hoście fizycznym, a reguła rozdzielenia maszyn (anti-affinity) pilnuje, by migracja tego nie zmieniła.
Pody po awarii węzła
Kubernetes nie przenosi podów natychmiast.
| Czas od awarii | Zdarzenie |
|---|---|
| kilkadziesiąt sekund | węzeł przechodzi w stan NotReady, nowe pody nie są na nim planowane |
| około 5 minut | pody bez własnych tolerancji są usuwane z węzła i tworzone na pozostałych (domyślne tolerationSeconds: 300) |
| bez limitu | pody StatefulSet i pody z woluminem lokalnym czekają na powrót węzła |
Aplikacja z jedną repliką jest więc niedostępna przez co najmniej pięć minut. Dwie repliki to minimum dla każdej aplikacji, której niedostępność ktoś zauważy. Domyślny rozkład w kube-scheduler jest miękki i dopuszcza obie repliki na jednym węźle, dlatego reguła rozkładu (topologySpreadConstraints) robi to jawnie. Dla krytycznych aplikacji bezstanowych można dodatkowo skrócić tolerancje na niedostępny węzeł z domyślnych 300 sekund.
spec:
replicas: 2
template:
metadata:
labels:
app: portal
spec:
# krótsza tolerancja niż domyślne 300 s
tolerations:
- key: node.kubernetes.io/unreachable
operator: Exists
effect: NoExecute
tolerationSeconds: 60
- key: node.kubernetes.io/not-ready
operator: Exists
effect: NoExecute
tolerationSeconds: 60
# repliki na różnych węzłach
topologySpreadConstraints:
- maxSkew: 1
topologyKey: kubernetes.io/hostname
whenUnsatisfiable: ScheduleAnyway
labelSelector:
matchLabels:
app: portal
ScheduleAnyway w braku wyboru uruchomi repliki na tym samym węźle, co w klastrze z trzema węzłami jest bezpieczniejsze niż DoNotSchedule, przy którym zastępcza replika po awarii węzła może zostać w stanie Pending.
Pod StatefulSet z niedostępnego węzła pozostaje w stanie Terminating, a kontroler nie utworzy zastępcy o tej samej tożsamości. Gdy maszyna jest na pewno wyłączona, można to odblokować taintem node.kubernetes.io/out-of-service=nodeshutdown:NoExecute (stabilny od Kubernetes 1.28). Wymusza on usunięcie podów i odłączenie woluminów, więc stosuje się go wyłącznie dla wyłączonej maszyny i zdejmuje po jej powrocie.
Budżet zakłóceń
PodDisruptionBudget chroni przed planowymi pracami (opróżnianie węzła, aktualizacja klastra), nie przed awarią. Ogranicza liczbę podów aplikacji, które mogą być jednocześnie niedostępne wskutek eksmisji. Obiekt policy/v1 w przestrzeni nazw aplikacji wybiera pody selektorem etykiet (np. app: portal) i ustawia maxUnavailable: 1. Dla aplikacji z kilkoma replikami to wartość bezpieczniejsza niż minAvailable.
Dane i obrazy po awarii
Domyślna klasa magazynu w k3s, local-path, tworzy woluminy na dysku węzła, więc pod może wystartować tylko tam. Dla każdej aplikacji z woluminem lokalnym wymagana jest świadoma decyzja: replikacja na poziomie aplikacji (baza z replikami na różnych węzłach), replikowany magazyn blokowy albo akceptacja przestoju i kopia zapasowa.
Baza danych z operatorem zwykle wybiera nową instancję podstawową w kilkadziesiąt sekund, ale repliki, które straciły połączenie ze starą, zależnie od operatora nie zawsze podłączają się do nowej. Dlatego monitoruje się opóźnienie replikacji, nie tylko liczbę działających instancji.
Po awarii klaster uruchamia na pozostałych węzłach dziesiątki podów, które pobierają brakujące obrazy z rejestru, więc limity publicznych rejestrów mogą spowolnić odtwarzanie. Polityka IfNotPresent z tagami wersji (nie latest) pomaga tylko częściowo, bo pody trafiające na inny węzeł nie mają tam obrazu. Realnym zabezpieczeniem jest lustro rejestru. k3s ma wbudowane (embedded-registry, opcja eksperymentalna według opisu flag), które wymaga dodatkowo włączenia dublowania dla wybranych rejestrów. Węzły potrzebują też resolvera DNS niezależnego od klastra, bo inaczej awaria DNS w klastrze odcina pobieranie obrazów.
Adres API
W k3s kubelety na serwerach łączą się z lokalnym API, a agenci z serwerami przez wbudowany balancer, więc awaria węzła nie odcina samych kubeletów. Wspólny adres API jest potrzebny klientom spoza klastra (administratorom, CI), wtyczce sieciowej (zwłaszcza zastępującej kube-proxy), operatorom i rejestracji nowych węzłów. Chroni on klaster tylko wtedy, gdy mechanizm go utrzymujący przeżywa awarię węzła, a każdy klient faktycznie z niego korzysta.
Dostępne są trzy sposoby utrzymania adresu:
- kube-vip działa jako pod na węzłach control plane i wybiera lidera przez dzierżawę (obiekt Lease) w API Kubernetes.
- Keepalived jako usługa systemowa wybiera protokołem VRRP węzeł trzymający adres, a skrypt sprawdzający API decyduje, czy węzeł się nadaje.
- Zewnętrzny balancer, para maszyn z HAProxy i keepalived albo urządzenie sieciowe, sprawdza każdy serwer API i rozdziela połączenia; adres należy wtedy do balancera, nie do węzłów.
Zależność od API i etcd ma największe skutki: wolne etcd uderza w mechanizm, który utrzymuje dostęp do API. Manifest kube-vip generuje się bez parametru --services, żeby obsługiwał wyłącznie adres API.
Keepalived: sprawdzanie gotowości API
Skrypt kontrolny pyta o /readyz, a nie sprawdza portu 6443, bo ten mówi tylko, że proces nasłuchuje. W k3s anonimowy dostęp do API jest domyślnie wyłączony, więc skrypt używa lokalnego kubeconfig przez k3s kubectl i musi mieć prawo odczytu /etc/rancher/k3s/k3s.yaml, który domyślnie czyta tylko root. Bez tego adres nigdy nie zostaje przejęty.
vrrp_script chk_apiserver {
script "/usr/local/bin/k3s kubectl get --raw=/readyz --request-timeout=2s"
interval 3
timeout 3
fall 3
rise 2
}
vrrp_instance K8S_API {
state BACKUP
nopreempt
interface eth0
virtual_router_id 51
# 100, 90 i 80 na kolejnych węzłach
priority 100
advert_int 1
virtual_ipaddress {
10.10.0.50/24
}
track_script {
chk_apiserver
}
}
fall 3 przy interwale 3 sekund oznacza przełączenie po około 10 sekundach braku gotowości, a nopreempt oszczędza klientom drugie przełączenie po powrocie węzła o wyższym priorytecie.
Zewnętrzny balancer
Pojedynczy HAProxy jest nowym punktem awarii, więc balancer to para z keepalived; na maszynie zapasowej HAProxy musi nasłuchiwać na adresie, którego jeszcze nie ma (net.ipv4.ip_nonlocal_bind = 1). Frontend w trybie tcp na porcie 6443 kieruje ruch do trzech serwerów API z opcją check, a timeout client i timeout server nie mogą zrywać długotrwałych połączeń typu watch. Samo sprawdzenie portu nie wyklucza serwera, który nasłuchuje, ale nie jest gotowy; dokładniejsze jest option httpchk GET /readyz, o ile API dopuszcza anonimowe zapytania (domyślnie w kubeadm, w k3s nie).
frontend k8s-api
bind 192.0.2.10:6443
mode tcp
timeout client 1h
default_backend k8s-api
backend k8s-api
mode tcp
timeout server 1h
option httpchk GET /readyz
http-check expect status 401
server cp1 10.10.0.21:6443 check check-ssl verify none inter 3s fall 3 rise 2
server cp2 10.10.0.22:6443 check check-ssl verify none inter 3s fall 3 rise 2
server cp3 10.10.0.23:6443 check check-ssl verify none inter 3s fall 3 rise 2
W k3s bez anonimowego dostępu gotowy serwer odpowiada 401, więc expect status 401 dowodzi tylko, że API odpowiada po TLS; w kubeadm expect status 200 sprawdza gotowość. Serwer, który nie odpowiada wcale, wypada po trzech nieudanych próbach, czyli po około 10 sekundach.
Certyfikat API i klienci omijający adres
Adres wirtualny i nazwa DNS, pod którą klienci go znają, muszą być w polu SAN certyfikatu serwera API. W k3s dodaje się je opcją tls-san w pliku /etc/rancher/k3s/config.yaml na każdym węźle serwerowym (np. k8s-api.corp.example.com i 10.10.0.50), a późniejsza zmiana wymaga restartu k3s na każdym z nich. Brak wpisu daje błąd „x509: certificate is valid for …, not 10.10.0.50” dopiero przy pierwszym połączeniu. Klienci znają nazwę DNS, nie adres IP: zmiana adresu to wtedy jeden rekord i jeden wpis w certyfikacie, a nie każdy kubeconfig.
Plik k3s.yaml wskazuje 127.0.0.1, więc po skopiowaniu na stację lub do CI adres trzeba zmienić na nazwę wirtualną. Agenci k3s rejestrują się pod adresem z server, więc gdy wskazuje on jeden serwer, dołączenie nowego węzła podczas jego awarii się nie powiedzie. Ten sam problem dotyczy operatorów z jawnie wpisanym adresem API oraz kubeconfigów używanych przez monitoring, GitOps i pipeline’y.
Przeskoki adresu: przyczyny i diagnoza
Utrata adresu na kilka sekund wystarcza, by agent wtyczki sieciowej zastępującej kube-proxy stracił API, nowe pody nie dostały sieci, a CoreDNS nie zgłosił gotowości. Przeskoki mają kilka typowych przyczyn:
- Zależność od API. Lider kube-vip, który nie odnowił dzierżawy, usuwa adres i restartuje się (kube-vip 1.3), więc liczba restartów jest zgrubnym licznikiem przeskoków. W logach poprzedniej instancji poda (
kubectl -n kube-system logs <pod-kube-vip> --previous) widać „error retrieving resource lock” i „failed to renew lease”. Jeśli dzierżawy kube-vip, kube-controller-manager i kube-scheduler zmieniły właściciela w ciągu kilku sekund, wspólną przyczyną jest API lub etcd; gdy rośnie tylkoplndr-cp-lock, przyczyna leży bliżej kube-vip. Właścicieli i liczbę zmian pokazujekubectl -n kube-system get leasez kolumnamispec.holderIdentityispec.leaseTransitions. - Opóźnienia etcd. Zapis jest zatwierdzany po synchronicznym zapisie na dysk (fsync), który dysk współdzielony z kopiami, przeciążony procesor, czas zabrany przez hiperwizor albo defragmentacja wydłużają z milisekund do sekund. W dzienniku usługi
k3s(w kubeadm w podzie etcd) serie „slow fdatasync” wskazują dysk, a „apply request took too long” i „leaderelection lost” opóźnienia zapisu; stale wysokiestalbowawvmstatoznacza oczekiwanie na hosta lub dysk. - Zbyt krótka dzierżawa. Obecne domyślne wartości kube-vip to dzierżawa 15 s, termin odnowienia 10 s i odstęp między próbami 2 s; w wersjach do 1.0 wynosiły one 5, 3 i 1 s.
- Brak zasobów poda. Pod kube-vip bez żądań zasobów przegrywa rywalizację o procesor, a z limitem CPU jest dławiony; odnowienie się spóźnia, choć API odpowiada.
- ARP. Router lub zapora ignorująca gratuitous ARP nowego właściciela wysyła ruch na adres MAC starego węzła do wygaśnięcia wpisu.
Środki zaradcze
Zmienne vip_leaseduration, vip_renewdeadline i vip_retryperiod ustawia się w kontenerze kube-vip; client-go wymaga, żeby dzierżawa przekraczała termin odnowienia, a ten 1,2 × odstęp między próbami. Profil 15 / 10 / 2 s oznacza utratę adresu po zatrzymaniu API dłuższym niż około 10 s i przejęcie po awarii węzła w ok. 15–17 s (profil 5 / 3 / 1 s: ok. 3 s i 5–6 s). Dłuższa dzierżawa daje zapas, ale nie usuwa przyczyny.
Pod kube-vip powinien mieć żądania zasobów (np. 100m CPU i 64 MiB pamięci), klasę system-node-critical i brak limitu CPU. Katalog danych etcd (k3s: /var/lib/rancher/k3s/server/db/etcd, kubeadm: /var/lib/etcd) powinien leżeć na SSD lub NVMe nieobciążonym kopiami. Alerty obejmują restarty kube-vip i 99. percentyl fsync etcd powyżej 10 ms; zbieranie metryk etcd spoza węzła wymaga w k3s opcji etcd-expose-metrics: true (domyślnie false).
Decyzje i alternatywy
| Podejście | Kiedy ma sens | Ograniczenie |
|---|---|---|
| kube-vip w klastrze (tryb ARP) | trzy węzły w jednej sieci, brak dodatkowych maszyn, monitorowane restarty i dzierżawa z zapasem | zależy od API i etcd; wymaga wspólnej warstwy 2; jeden lider, bez rozkładu ruchu |
| Keepalived na węzłach (VRRP) | niedostępność ma realne koszty, a zależność od API i etcd jest niedopuszczalna | wymaga wspólnej warstwy 2; jeden właściciel adresu, bez rozkładu ruchu; skrypt kontrolny wymaga dostępu do kubeconfig |
| Zewnętrzny balancer (HAProxy z keepalived albo urządzenie) | węzły w różnych sieciach albo potrzebny rozkład ruchu na serwery API | dwie dodatkowe maszyny lub urządzenie; sam balancer jest punktem awarii, jeśli nie jest sparowany |
W klastrze z trzema węzłami w jednej sieci kube-vip jest rozsądnym startem, o ile restarty są monitorowane, a dzierżawa ma zapas. Keepalived usuwa najgroźniejszą zależność, a balancery mają sens przy węzłach w różnych sieciach lub potrzebie rozkładu ruchu.
Wdrożenie
- Trzy węzły etcd na różnych hostach fizycznych, z regułą rozdzielenia maszyn. Kontrola: awaria jednego hosta nie wyłącza dwóch węzłów serwerowych.
tls-sanz adresem wirtualnym i nazwą DNS wconfig.yamlkażdego węzła serwerowego, potem restart k3s po kolei. Kontrola: połączenie przez nazwę bez błędu x509.- Uruchomienie wybranego mechanizmu adresu API (kube-vip, keepalived lub balancer). Kontrola:
/readyzodpowiada przez adres wirtualny z innej maszyny (w k3s kodem 401). - Przepięcie wszystkich komponentów na nazwę wirtualną: kubeconfigi administratorów i CI, wtyczka sieciowa, operatory, monitoring, GitOps oraz wpis
serveragentów. Kontrola: żaden komponent nie wskazuje adresu pojedynczego węzła. - Co najmniej dwie repliki aplikacji z rozkładem na różne węzły, krótsze tolerancje dla krytycznych aplikacji bezstanowych i PodDisruptionBudget. Kontrola: żaden Deployment poza świadomie zaakceptowanymi nie ma jednej repliki, łącznie z domyślnymi komponentami k3s w
kube-system(m.in. CoreDNS i Traefik). - Zapisana decyzja dla każdej aplikacji z woluminem lokalnym: replikacja, magazyn replikowany albo kopia zapasowa z akceptacją przestoju.
- Żądania zasobów i klasa
system-node-criticaldla poda kube-vip oraz alerty na restarty i fsync etcd. Zmiana restartuje pody, więc adres przeskoczy; wykonuje się ją w oknie serwisowym. - Test awarii opisany niżej.
Test awarii
Najwiarygodniejszą weryfikacją jest twarde wyłączenie węzła na co najmniej dwadzieścia minut, czyli dłużej niż pięciominutowa tolerancja podów, w uzgodnionym oknie serwisowym. Najlepiej wyłączyć węzeł trzymający adres API i zmierzyć przerwę pętlą odpytującą /readyz co sekundę z innej maszyny. Po teście sprawdza się nie tylko odpowiedzi aplikacji, ale też pody w stanie Pending, restarty komponentów w kube-system, opóźnienie replikacji baz i logi wtyczki sieciowej. Test powtarza się dla każdego węzła z osobna.
Ograniczenia i pułapki
- Budżet bez zapasu.
minAvailable: 1dla aplikacji z jedną repliką oznacza zero dozwolonych zakłóceń:kubectl drainw nieskończoność ponawia eksmisję z komunikatem „Cannot evict pod as it would violate the pod’s disruption budget”, a aktualizacja węzła staje. Dla aplikacji z jedną repliką budżet pomija się albo podnosi liczbę replik. - Komponent na adres węzła. Jeden komponent skonfigurowany na adres konkretnego węzła sprawia, że wysoka dostępność znika w chwili awarii tego węzła: wtyczka sieciowa przestaje programować sieć, DNS w klastrze przestaje odpowiadać, a awaria jednego węzła staje się awarią całego klastra. W Cilium adres wskazują
k8sServiceHostik8sServicePort; muszą wskazywać adres wirtualny. - Restart w trakcie przeskoków. Restart węzła w serii przeskoków adresu zwykle pogarsza sytuację: etcd traci zapas kworum, wracający członek obciąża dyski pozostałych, a adres przeskakuje znowu. Najpierw ustala się, która warstwa zawodzi (dzierżawy, etcd, ARP).
- Taint out-of-service. Wymusza usunięcie podów i odłączenie woluminów, więc na maszynie, która nadal działa, grozi jednoczesnym działaniem dwóch kopii tej samej instancji; stosuje się go po potwierdzeniu wyłączenia maszyny i zdejmuje po jej powrocie.
- Fałszywa gotowość w k3s. Kontrola
/readyzprzez HAProxy bez anonimowego dostępu zwraca 401 także dla serwera, który nie jest gotowy; pełną kontrolę gotowości zapewnia skrypt keepalived z lokalnym kubeconfig.