Usługi bazowe: DNS i certyfikaty
Odporność DNS na awarię pojedynczego resolvera, forwardera i sieci klastra Kubernetes oraz inwentarz i monitoring certyfikatów z progami alertów dopasowanymi do sposobu odnawiania.
Awaria DNS wygląda jak awaria wszystkiego innego: poczta nie działa, logowanie trwa minutami, aplikacje „nie widzą serwera”, a monitoring zgłasza setki niedostępnych usług, z których większość działa. Wygasły certyfikat zatrzymuje usługi równie skutecznie, choć jego data jest znana od dnia wystawienia. Dokument opisuje eliminowanie pojedynczych punktów awarii w DNS (klienci, DHCP, forwardery, klaster Kubernetes) oraz inwentarz i monitoring certyfikatów.
Gdzie ukrywają się pojedyncze punkty awarii w DNS
Dwa adresy DNS w konfiguracji klienta nie oznaczają dwóch niezależnych resolverów: wystarczy, że oba kontrolery domeny z rolą DNS stoją na tym samym hoście wirtualizacji, który nie wstał po nocnych aktualizacjach, a stacje dostają z DHCP wyłącznie ich adresy.
| Co pada | Objaw | Zabezpieczenie |
|---|---|---|
| Host wirtualizacji z oboma kontrolerami domeny | Brak rozwiązywania nazw w całej organizacji, logowanie i poczta stoją | Resolvery na różnych hostach, reguła rozdzielenia maszyn w klastrze wirtualizacji |
| Pierwszy resolver z listy klienta | Każde zapytanie opóźnione o sekundy, aplikacje zgłaszają przekroczenie czasu | Sprawny drugi resolver, krótszy limit czasu w resolv.conf, alert na czas odpowiedzi |
| Dostawca, do którego prowadzą oba forwardery | Nazwy wewnętrzne działają, zewnętrzne nie, mimo działającego łącza zapasowego | Forwardery od dwóch dostawców, podpowiedzi główne jako ostateczność |
| Sieć klastra Kubernetes | Pody nie rozwiązują nazw; węzły pytające DNS w klastrze nie pobiorą obrazów | Węzły na resolverach spoza klastra, CoreDNS przekazuje do nich zapytania |
| DHCP z jednym adresem DNS | Stacje znają tylko jeden resolver | Opcja 6 z dwoma adresami w każdym zakresie |
Dwa resolvery, które naprawdę są niezależne
Dwa resolvery działają na różnych hostach wirtualizacji, najlepiej także na różnych macierzach i w różnych obwodach zasilania. W środowisku Active Directory są to zwykle dwa kontrolery domeny z rolą DNS. Sam podział w dniu instalacji nie wystarcza: migracja na żywo potrafi umieścić obie maszyny na jednym hoście na miesiące. W klastrze pracy awaryjnej Hyper-V rozdzielenie utrzymuje właściwość AntiAffinityClassNames grup maszyn wirtualnych; wariant wymuszony włącza właściwość klastra ClusterEnforcedAntiAffinity.
Kontroler domeny wskazuje jako pierwszy serwer DNS inny kontroler, a siebie (127.0.0.1) dopiero jako kolejny; po sprawdzeniu, że replikacja działa, Microsoft dopuszcza także odwrotną kolejność. Kontroler pytający wyłącznie samego siebie może po restarcie długo czekać na własną usługę DNS, a gdy jego strefa jest nieaktualna z powodu problemów z replikacją, nie odnajdzie rekordów SRV swoich partnerów replikacji.
Klienci dostają oba adresy z DHCP w opcji 6 i pytają zwykle najpierw pierwszy adres z listy. Serwery Linux bez systemd-resolved mają adresy w /etc/resolv.conf. Domyślnie biblioteka glibc czeka 5 sekund na odpowiedź od każdego serwera, więc przy niedziałającym pierwszym resolverze każde rozwiązanie nazwy trwa ponad 5 sekund. Opcje timeout i attempts skracają to oczekiwanie.
search corp.example.com
nameserver 10.10.0.10
nameserver 10.10.0.11
# 2 sekundy na serwer zamiast domyślnych 5
options timeout:2 attempts:2
Forwardery i przekierowania warunkowe
Każdy resolver ma co najmniej dwa forwardery od różnych dostawców. Dwa adresy tego samego dostawcy to jeden punkt awarii, a forwardery od dwóch dostawców mają sens dopiero przy dwóch niezależnych łączach internetowych.
Serwer DNS Windows z włączoną opcją UseRootHint (domyślnie tak) po awarii forwarderów rozwiązuje nazwy samodzielnie, od serwerów głównych, co stanowi ostatnią linię obrony.
Każde przekierowanie warunkowe ma właściciela i uzasadnienie. Przekierowanie do partnera, z którym współpraca się skończyła, wskazuje serwery, które nie odpowiadają, i każde zapytanie o tę domenę czeka do przekroczenia limitu czasu.
DNS w klastrze Kubernetes
CoreDNS w klastrze obsługuje nazwy usług (*.svc.cluster.local), a zapytania o pozostałe nazwy przekazuje dalej. W domyślnej konfiguracji k3s i kubeadm robi to linia forward . /etc/resolv.conf w Corefile, czyli CoreDNS korzysta z resolverów zapisanych na węźle. Jeśli węzeł wskazuje resolvery firmowe, łańcuch jest poprawny. Jeśli węzeł ma wpisany adres usługi DNS klastra albo resolver działający jako pod w tym samym klastrze, powstaje pętla zależności: awaria sieci klastra odbiera węzłom rozwiązywanie nazw, a bez niego węzły nie pobiorą obrazów potrzebnych do naprawy.
Węzły klastra i cała infrastruktura używają więc resolverów niezależnych od klastra, a DNS w klastrze obsługuje wyłącznie nazwy usług klastra i przekazuje resztę do resolverów zewnętrznych. W k3s ConfigMapa coredns jest nadpisywana przy aktualizacji, więc własne wpisy trafiają do ConfigMapy coredns-custom w kube-system: klucze *.server dodają osobne bloki serwera, a *.override dopisują linie do bloku głównego.
apiVersion: v1
kind: ConfigMap
metadata:
name: coredns-custom
namespace: kube-system
data:
corp.server: |
corp.example.com:53 {
forward . 10.10.0.11 10.10.0.12
}
Monitoring DNS z perspektywy klienta
Sprawdzenie „usługa DNS działa” przechodzi także wtedy, gdy proces odpowiada po dziesięciu sekundach albo zwraca SERVFAIL. Monitoring mierzy usługę z perspektywy klienta, osobno dla każdego resolvera:
- czas odpowiedzi na zapytanie o nazwę wewnętrzną (np. rekord SOA strefy
corp.example.com) i zewnętrzną, - odsetek odpowiedzi z błędem.
Rozsądny próg alertu to czas odpowiedzi powyżej 200 ms przez 5 minut albo brak odpowiedzi w trzech kolejnych sprawdzeniach. W Zabbixie czas odpowiedzi zwraca element net.dns.perf[10.10.0.10,corp.example.com,SOA,2,1], w sekundach, więc próg 200 ms to 0,2. Wartość 0 oznacza wyłącznie brak odpowiedzi, a wyzwalacz obejmuje czas powyżej progu i wartość 0. Parametry ip, timeout i count działają na Windows tylko z agentem 2.
Test DNS przez wyłączenie
Najpewniejszym dowodem redundancji jest wyłączenie jednego resolvera na godzinę w godzinach pracy, po uprzedzeniu zespołu. Test jest zaliczony, gdy nie ma zgłoszeń od użytkowników, a czas odpowiedzi drugiego resolvera mieści się w progu alertu; kilkusekundowe opóźnienie w chwili przełączenia klientów jest normalne. Gorszy wynik oznacza brak drugiego adresu u klientów, niedziałający drugi resolver albo zbyt wolne przełączenie. Potrzebny jest plan wycofania: wyznaczona osoba, która natychmiast włączy resolver z powrotem. Test powtarza się co pół roku i po większej zmianie w sieci.
Gdzie ukrywają się certyfikaty
Certyfikat strony WWW pamięta każdy; częściej zapomina się o innych miejscach. Data wygaśnięcia jest zapisana w certyfikacie od dnia wystawienia, więc przestój wynika zwykle z braku wiedzy, że dany certyfikat istnieje, a nie z nieznanego terminu.
- LDAPS na kontrolerach domeny. Wygaśnięcie certyfikatu kontrolera zatrzymuje logowanie we wszystkich aplikacjach, które łączą się z katalogiem przez TLS.
- Listy CRL wewnętrznego urzędu. Lista unieważnień ma własną datę ważności (pole
NextUpdate). Po jej upływie klienci nie potrafią zweryfikować statusu certyfikatów, więc przestają działać usługi sprawdzające unieważnienia, na przykład logowanie kartami. - Klastry Kubernetes. W k3s certyfikaty komponentów są ważne 365 dni, a przy starcie usługi odnawiane, gdy do końca ważności zostało mniej niż 120 dni; zbliżający się termin sygnalizuje zdarzenie
CertificateExpirationWarning. - Certyfikaty przypięte u klientów. Aplikacja lub urządzenie, które ma zapisany konkretny certyfikat albo jego odcisk, przestaje działać po wymianie, nawet gdy nowy certyfikat jest poprawny.
Zasady CA/Browser Forum skracają etapami maksymalny okres ważności publicznie zaufanych certyfikatów TLS (nie certyfikatów wewnętrznego urzędu): do 200 dni od marca 2026 roku, do 100 dni od marca 2027 i do 47 dni od marca 2029 (stan na październik 2026). Pierwszy próg już obowiązuje. Ręczna wymiana raz w roku przestaje być możliwa: każdy publiczny certyfikat wymaga automatycznego odnawiania, a monitoring musi wykryć automat, który po cichu przestał działać.
Inwentarz certyfikatów z trzech źródeł
Skanowanie sieci znajduje wszystko, co przedstawia certyfikat na porcie TLS, łącznie z urządzeniami, o których nikt nie pamięta. Służy do tego nmap ze skryptem ssl-cert uruchomiony na portach usług TLS (443, 636, 993, 5986, 8443) w danej podsieci. Wynik zawiera m.in. linie Subject i Not valid after dla każdego portu; Issuer pojawia się dopiero z opcją -v. Skan trzeba uzgodnić z osobami odpowiedzialnymi za bezpieczeństwo, bo systemy wykrywania włamań go zauważą.
Rejestr wystawców zna certyfikaty, których skan nie zobaczy, bo nie są przedstawiane na żadnym porcie: certyfikaty klienckie i podpisujące. Wewnętrzny urząd certyfikacji pokazuje je w konsoli w widoku wystawionych certyfikatów, a publiczne certyfikaty dla własnych domen są widoczne w dziennikach Certificate Transparency, na przykład przez wyszukiwarkę crt.sh.
Konfiguracja systemów uzupełnia resztę: magazyny certyfikatów serwerów Windows, pliki na serwerach Linux, sekrety typu kubernetes.io/tls i zasoby Certificate w klastrze.
Każdy certyfikat dostaje wpis z tymi samymi polami: nazwa, adres usługi, wystawca, data wygaśnięcia, sposób odnawiania, właściciel, czynność po odnowieniu i zależności (np. aplikacje z przypiętym certyfikatem). Raz w tygodniu wynik skanu zestawia się z inwentarzem: certyfikat widoczny w skanie, a nieobecny na liście, to wpis do uzupełnienia razem z właścicielem, a wpis, którego skan nie znalazł, oznacza usługę wyłączoną albo przeniesioną. Nowe usługi trafiają do inwentarza w chwili wdrożenia.
Progi alertów i odnawianie certyfikatów
Metryka podstawowa to liczba dni do wygaśnięcia, liczona codziennie dla każdego wpisu; progi zależą od sposobu odnawiania. Przy certyfikacie odnawianym ręcznie 30 dni oznacza zgłoszenie z terminem wymiany dla właściciela, 14 dni alert na kanale zespołu, widoczny także dla przełożonego właściciela, a 7 dni powiadomienie natychmiastowe, obsługiwane przez dyżur jak incydent. Przy odnawianiu automatycznym obowiązują te same progi 14 i 7 dni, a próg 30 dni nie wymaga akcji, jeśli automat odnawia wcześniej.
Dla certyfikatów odnawianych automatycznie dochodzi alert zdarzeniowy, a nie czasowy: certyfikat starszy niż zwykły termin odnowienia oznacza, że automat nie zadziałał, i zespół musi to wiedzieć od razu. Zwykły termin odnowienia wynika z narzędzia. certbot od wersji 4.0 odnawia certyfikat, gdy do końca ważności zostaje mniej niż jedna trzecia okresu ważności (wcześniej stałe 30 dni), a cert-manager domyślnie po dwóch trzecich okresu ważności, a przy ustawionym spec.renewBefore w podanym czasie przed końcem. Próg alertu to termin odnowienia skrócony o jeden dzień: renewBefore minus jeden dzień, a dla certyfikatu 90-dniowego bez tego pola 29 dni.
W Prometheus z blackbox_exporter czas do wygaśnięcia daje metryka probe_ssl_earliest_cert_expiry, a cert-manager eksportuje certmanager_certificate_expiration_timestamp_seconds. W Zabbix agent 2 ten sam odczyt zapewnia element web.certificate.get.
# usługi sprawdzane przez blackbox_exporter: mniej niż 14 dni
(probe_ssl_earliest_cert_expiry - time()) / 86400 < 14
# certyfikaty cert-manager: mniej niż 29 dni (renewBefore minus dzień), czyli automat nie odnowił w terminie
(certmanager_certificate_expiration_timestamp_seconds - time()) / 86400 < 29
Protokół ACME dla publicznych certyfikatów i automatyczna rejestracja w wewnętrznym urzędzie usuwają większość pracy ręcznej. Certyfikaty, których nie da się zautomatyzować, mają spisaną procedurę i termin w kalendarzu zespołu, nie jednej osoby. Raz w roku, dla certyfikatów z długim okresem ważności, takich jak urzędy pośrednie i certyfikaty federacji, przeprowadza się próbną wymianę w środowisku testowym.
Decyzje i alternatywy
| Podejście | Kiedy ma sens | Ograniczenie |
|---|---|---|
Miękka reguła rozdzielenia maszyn (AntiAffinityClassNames) | domyślne rozdzielenie resolverów na hostach klastra Hyper-V | przy braku innego dostępnego węzła klaster umieszcza obie grupy razem |
Wymuszona reguła (ClusterEnforcedAntiAffinity) | resolvery nie mogą trafić na jeden host | przy dwóch węzłach awaria jednego uniemożliwia uruchomienie obu grup na pozostałym |
| Forwardery od jednego dostawcy | jedno łącze internetowe | dwa adresy tego samego dostawcy to jeden punkt awarii |
| Forwardery od dwóch dostawców plus podpowiedzi główne | dwa niezależne łącza | podpowiedzi główne wymagają zapory przepuszczającej zapytania DNS do dowolnych adresów |
Wpisy własne w ConfigMapie coredns-custom | k3s, gdzie coredns jest nadpisywana przy aktualizacji | dotyczy k3s; w innych dystrybucjach zmiana Corefile działa inaczej |
| Resolver jako pod w tym samym klastrze | tylko dla nazw usług klastra | zależność od klastra: jego awaria odbiera węzłom rozwiązywanie nazw |
| Odnawianie ręczne z progami 30/14/7 dni | certyfikaty niedające się zautomatyzować | wymaga właściciela, procedury i terminu w kalendarzu zespołu |
| Odnawianie automatyczne (ACME, automatyczna rejestracja, cert-manager) | certyfikaty publiczne i wewnętrzne | wymaga alertu zdarzeniowego, który wykryje automat, który przestał działać |
Kolejność prac
- Inwentaryzacja klientów DNS: lista resolverów każdej karty sieciowej stacji i serwerów (
Get-DnsClientServerAddress -AddressFamily IPv4): wszędzie dwa adresy maszyn na różnych hostach, bez adresów nieistniejących maszyn, serwerów wskazujących tylko siebie i adresu usługi DNS klastra wśród resolverów węzła. - Poprawa zakresów DHCP (opcja 6 z dwoma adresami), kolejności DNS na kontrolerach domeny, limitu czasu w
resolv.conf, forwarderów i przekierowań warunkowych oraz reguły rozdzielenia maszyn w klastrze wirtualizacji. Kontrola: żaden klient nie ma jednego adresu, a oba resolvery stoją na różnych hostach. - Uzupełnienie ConfigMapy
coredns-customi weryfikacja, że węzły klastra korzystają z resolverów spoza klastra. - Dodanie pomiarów czasu odpowiedzi i błędów dla każdego resolvera oraz alertów z progami z sekcji monitoringu.
- Test przez wyłączenie jednego resolvera, powtarzany co pół roku i po większej zmianie w sieci.
- Inwentaryzacja certyfikatów z trzech źródeł. Magazyn komputera Windows sprawdza
Get-ChildItem Cert:\LocalMachine\Myz filtremNotAfterna najbliższe 30 dni. - Wprowadzenie dziennego pomiaru dni do wygaśnięcia, progów 30/14/7 dni dla każdego wpisu oraz alertu zdarzeniowego dla certyfikatów odnawianych automatycznie. Kontrola: cotygodniowe zestawienie skanu z inwentarzem nie wykazuje różnic bez właściciela.
- Odnawianie: ACME i automatyczna rejestracja tam, gdzie to możliwe, procedury ręczne dla reszty oraz roczna próbna wymiana certyfikatów o długim okresie ważności.
Ograniczenia i pułapki
- Podpowiedzi główne a zapora.
UseRootHintzadziała tylko wtedy, gdy zapora pozwala kontrolerom domeny wysyłać zapytania DNS do dowolnych adresów w internecie; jeśli reguły dopuszczają tylko adresy forwarderów, podpowiedzi główne nie pomogą. Reguły zapory trzeba przetestować przy odłączonych forwarderach. - Miękka reguła rozdzielenia maszyn. Zmiana
AntiAffinityClassNamesdziała dopiero po ponownym uruchomieniu zasobów, a bez innego dostępnego węzła obie grupy trafiają na jeden host. Rozmieszczenie resolverów po migracjach i awariach sprawdza się osobno. - Pomiar czasu nie wykrywa SERVFAIL. Gdy serwer odpowie kodem błędu, np. SERVFAIL lub NXDOMAIN, element
net.dns.perfzwraca czas, a nie 0, więc samo mierzenie czasu go nie wykryje. Odpowiedzi z błędem wymagają osobnego elementu. - Odnowiony plik, stary certyfikat w pamięci usługi. Po odnowieniu usługa nadal może przedstawiać stary certyfikat. Numer seryjny i datę wygaśnięcia z pliku (
openssl x509 -noout -serial -enddate -in <plik>) porównuje się z certyfikatem faktycznie przedstawianym przez usługę (openssl s_client -connect <host>:443 -servername <host>przekazane doopenssl x509 -noout -serial -enddate).