Usługi bazowe: DNS i certyfikaty

Odporność DNS na awarię pojedynczego resolvera, forwardera i sieci klastra Kubernetes oraz inwentarz i monitoring certyfikatów z progami alertów dopasowanymi do sposobu odnawiania.

SieciBezpieczeństwo

Awaria DNS wygląda jak awaria wszystkiego innego: poczta nie działa, logowanie trwa minutami, aplikacje „nie widzą serwera”, a monitoring zgłasza setki niedostępnych usług, z których większość działa. Wygasły certyfikat zatrzymuje usługi równie skutecznie, choć jego data jest znana od dnia wystawienia. Dokument opisuje eliminowanie pojedynczych punktów awarii w DNS (klienci, DHCP, forwardery, klaster Kubernetes) oraz inwentarz i monitoring certyfikatów.

Gdzie ukrywają się pojedyncze punkty awarii w DNS

Dwa adresy DNS w konfiguracji klienta nie oznaczają dwóch niezależnych resolverów: wystarczy, że oba kontrolery domeny z rolą DNS stoją na tym samym hoście wirtualizacji, który nie wstał po nocnych aktualizacjach, a stacje dostają z DHCP wyłącznie ich adresy.

Co padaObjawZabezpieczenie
Host wirtualizacji z oboma kontrolerami domenyBrak rozwiązywania nazw w całej organizacji, logowanie i poczta stojąResolvery na różnych hostach, reguła rozdzielenia maszyn w klastrze wirtualizacji
Pierwszy resolver z listy klientaKażde zapytanie opóźnione o sekundy, aplikacje zgłaszają przekroczenie czasuSprawny drugi resolver, krótszy limit czasu w resolv.conf, alert na czas odpowiedzi
Dostawca, do którego prowadzą oba forwarderyNazwy wewnętrzne działają, zewnętrzne nie, mimo działającego łącza zapasowegoForwardery od dwóch dostawców, podpowiedzi główne jako ostateczność
Sieć klastra KubernetesPody nie rozwiązują nazw; węzły pytające DNS w klastrze nie pobiorą obrazówWęzły na resolverach spoza klastra, CoreDNS przekazuje do nich zapytania
DHCP z jednym adresem DNSStacje znają tylko jeden resolverOpcja 6 z dwoma adresami w każdym zakresie

Dwa resolvery, które naprawdę są niezależne

Dwa resolvery działają na różnych hostach wirtualizacji, najlepiej także na różnych macierzach i w różnych obwodach zasilania. W środowisku Active Directory są to zwykle dwa kontrolery domeny z rolą DNS. Sam podział w dniu instalacji nie wystarcza: migracja na żywo potrafi umieścić obie maszyny na jednym hoście na miesiące. W klastrze pracy awaryjnej Hyper-V rozdzielenie utrzymuje właściwość AntiAffinityClassNames grup maszyn wirtualnych; wariant wymuszony włącza właściwość klastra ClusterEnforcedAntiAffinity.

Kontroler domeny wskazuje jako pierwszy serwer DNS inny kontroler, a siebie (127.0.0.1) dopiero jako kolejny; po sprawdzeniu, że replikacja działa, Microsoft dopuszcza także odwrotną kolejność. Kontroler pytający wyłącznie samego siebie może po restarcie długo czekać na własną usługę DNS, a gdy jego strefa jest nieaktualna z powodu problemów z replikacją, nie odnajdzie rekordów SRV swoich partnerów replikacji.

Klienci dostają oba adresy z DHCP w opcji 6 i pytają zwykle najpierw pierwszy adres z listy. Serwery Linux bez systemd-resolved mają adresy w /etc/resolv.conf. Domyślnie biblioteka glibc czeka 5 sekund na odpowiedź od każdego serwera, więc przy niedziałającym pierwszym resolverze każde rozwiązanie nazwy trwa ponad 5 sekund. Opcje timeout i attempts skracają to oczekiwanie.

search corp.example.com
nameserver 10.10.0.10
nameserver 10.10.0.11
# 2 sekundy na serwer zamiast domyślnych 5
options timeout:2 attempts:2

Forwardery i przekierowania warunkowe

Każdy resolver ma co najmniej dwa forwardery od różnych dostawców. Dwa adresy tego samego dostawcy to jeden punkt awarii, a forwardery od dwóch dostawców mają sens dopiero przy dwóch niezależnych łączach internetowych.

Serwer DNS Windows z włączoną opcją UseRootHint (domyślnie tak) po awarii forwarderów rozwiązuje nazwy samodzielnie, od serwerów głównych, co stanowi ostatnią linię obrony.

Każde przekierowanie warunkowe ma właściciela i uzasadnienie. Przekierowanie do partnera, z którym współpraca się skończyła, wskazuje serwery, które nie odpowiadają, i każde zapytanie o tę domenę czeka do przekroczenia limitu czasu.

DNS w klastrze Kubernetes

CoreDNS w klastrze obsługuje nazwy usług (*.svc.cluster.local), a zapytania o pozostałe nazwy przekazuje dalej. W domyślnej konfiguracji k3s i kubeadm robi to linia forward . /etc/resolv.conf w Corefile, czyli CoreDNS korzysta z resolverów zapisanych na węźle. Jeśli węzeł wskazuje resolvery firmowe, łańcuch jest poprawny. Jeśli węzeł ma wpisany adres usługi DNS klastra albo resolver działający jako pod w tym samym klastrze, powstaje pętla zależności: awaria sieci klastra odbiera węzłom rozwiązywanie nazw, a bez niego węzły nie pobiorą obrazów potrzebnych do naprawy.

Węzły klastra i cała infrastruktura używają więc resolverów niezależnych od klastra, a DNS w klastrze obsługuje wyłącznie nazwy usług klastra i przekazuje resztę do resolverów zewnętrznych. W k3s ConfigMapa coredns jest nadpisywana przy aktualizacji, więc własne wpisy trafiają do ConfigMapy coredns-custom w kube-system: klucze *.server dodają osobne bloki serwera, a *.override dopisują linie do bloku głównego.

apiVersion: v1
kind: ConfigMap
metadata:
  name: coredns-custom
  namespace: kube-system
data:
  corp.server: |
    corp.example.com:53 {
      forward . 10.10.0.11 10.10.0.12
    }

Monitoring DNS z perspektywy klienta

Sprawdzenie „usługa DNS działa” przechodzi także wtedy, gdy proces odpowiada po dziesięciu sekundach albo zwraca SERVFAIL. Monitoring mierzy usługę z perspektywy klienta, osobno dla każdego resolvera:

  • czas odpowiedzi na zapytanie o nazwę wewnętrzną (np. rekord SOA strefy corp.example.com) i zewnętrzną,
  • odsetek odpowiedzi z błędem.

Rozsądny próg alertu to czas odpowiedzi powyżej 200 ms przez 5 minut albo brak odpowiedzi w trzech kolejnych sprawdzeniach. W Zabbixie czas odpowiedzi zwraca element net.dns.perf[10.10.0.10,corp.example.com,SOA,2,1], w sekundach, więc próg 200 ms to 0,2. Wartość 0 oznacza wyłącznie brak odpowiedzi, a wyzwalacz obejmuje czas powyżej progu i wartość 0. Parametry ip, timeout i count działają na Windows tylko z agentem 2.

Test DNS przez wyłączenie

Najpewniejszym dowodem redundancji jest wyłączenie jednego resolvera na godzinę w godzinach pracy, po uprzedzeniu zespołu. Test jest zaliczony, gdy nie ma zgłoszeń od użytkowników, a czas odpowiedzi drugiego resolvera mieści się w progu alertu; kilkusekundowe opóźnienie w chwili przełączenia klientów jest normalne. Gorszy wynik oznacza brak drugiego adresu u klientów, niedziałający drugi resolver albo zbyt wolne przełączenie. Potrzebny jest plan wycofania: wyznaczona osoba, która natychmiast włączy resolver z powrotem. Test powtarza się co pół roku i po większej zmianie w sieci.

Gdzie ukrywają się certyfikaty

Certyfikat strony WWW pamięta każdy; częściej zapomina się o innych miejscach. Data wygaśnięcia jest zapisana w certyfikacie od dnia wystawienia, więc przestój wynika zwykle z braku wiedzy, że dany certyfikat istnieje, a nie z nieznanego terminu.

  • LDAPS na kontrolerach domeny. Wygaśnięcie certyfikatu kontrolera zatrzymuje logowanie we wszystkich aplikacjach, które łączą się z katalogiem przez TLS.
  • Listy CRL wewnętrznego urzędu. Lista unieważnień ma własną datę ważności (pole NextUpdate). Po jej upływie klienci nie potrafią zweryfikować statusu certyfikatów, więc przestają działać usługi sprawdzające unieważnienia, na przykład logowanie kartami.
  • Klastry Kubernetes. W k3s certyfikaty komponentów są ważne 365 dni, a przy starcie usługi odnawiane, gdy do końca ważności zostało mniej niż 120 dni; zbliżający się termin sygnalizuje zdarzenie CertificateExpirationWarning.
  • Certyfikaty przypięte u klientów. Aplikacja lub urządzenie, które ma zapisany konkretny certyfikat albo jego odcisk, przestaje działać po wymianie, nawet gdy nowy certyfikat jest poprawny.

Zasady CA/Browser Forum skracają etapami maksymalny okres ważności publicznie zaufanych certyfikatów TLS (nie certyfikatów wewnętrznego urzędu): do 200 dni od marca 2026 roku, do 100 dni od marca 2027 i do 47 dni od marca 2029 (stan na październik 2026). Pierwszy próg już obowiązuje. Ręczna wymiana raz w roku przestaje być możliwa: każdy publiczny certyfikat wymaga automatycznego odnawiania, a monitoring musi wykryć automat, który po cichu przestał działać.

Inwentarz certyfikatów z trzech źródeł

Skanowanie sieci znajduje wszystko, co przedstawia certyfikat na porcie TLS, łącznie z urządzeniami, o których nikt nie pamięta. Służy do tego nmap ze skryptem ssl-cert uruchomiony na portach usług TLS (443, 636, 993, 5986, 8443) w danej podsieci. Wynik zawiera m.in. linie Subject i Not valid after dla każdego portu; Issuer pojawia się dopiero z opcją -v. Skan trzeba uzgodnić z osobami odpowiedzialnymi za bezpieczeństwo, bo systemy wykrywania włamań go zauważą.

Rejestr wystawców zna certyfikaty, których skan nie zobaczy, bo nie są przedstawiane na żadnym porcie: certyfikaty klienckie i podpisujące. Wewnętrzny urząd certyfikacji pokazuje je w konsoli w widoku wystawionych certyfikatów, a publiczne certyfikaty dla własnych domen są widoczne w dziennikach Certificate Transparency, na przykład przez wyszukiwarkę crt.sh.

Konfiguracja systemów uzupełnia resztę: magazyny certyfikatów serwerów Windows, pliki na serwerach Linux, sekrety typu kubernetes.io/tls i zasoby Certificate w klastrze.

Każdy certyfikat dostaje wpis z tymi samymi polami: nazwa, adres usługi, wystawca, data wygaśnięcia, sposób odnawiania, właściciel, czynność po odnowieniu i zależności (np. aplikacje z przypiętym certyfikatem). Raz w tygodniu wynik skanu zestawia się z inwentarzem: certyfikat widoczny w skanie, a nieobecny na liście, to wpis do uzupełnienia razem z właścicielem, a wpis, którego skan nie znalazł, oznacza usługę wyłączoną albo przeniesioną. Nowe usługi trafiają do inwentarza w chwili wdrożenia.

Progi alertów i odnawianie certyfikatów

Metryka podstawowa to liczba dni do wygaśnięcia, liczona codziennie dla każdego wpisu; progi zależą od sposobu odnawiania. Przy certyfikacie odnawianym ręcznie 30 dni oznacza zgłoszenie z terminem wymiany dla właściciela, 14 dni alert na kanale zespołu, widoczny także dla przełożonego właściciela, a 7 dni powiadomienie natychmiastowe, obsługiwane przez dyżur jak incydent. Przy odnawianiu automatycznym obowiązują te same progi 14 i 7 dni, a próg 30 dni nie wymaga akcji, jeśli automat odnawia wcześniej.

Dla certyfikatów odnawianych automatycznie dochodzi alert zdarzeniowy, a nie czasowy: certyfikat starszy niż zwykły termin odnowienia oznacza, że automat nie zadziałał, i zespół musi to wiedzieć od razu. Zwykły termin odnowienia wynika z narzędzia. certbot od wersji 4.0 odnawia certyfikat, gdy do końca ważności zostaje mniej niż jedna trzecia okresu ważności (wcześniej stałe 30 dni), a cert-manager domyślnie po dwóch trzecich okresu ważności, a przy ustawionym spec.renewBefore w podanym czasie przed końcem. Próg alertu to termin odnowienia skrócony o jeden dzień: renewBefore minus jeden dzień, a dla certyfikatu 90-dniowego bez tego pola 29 dni.

W Prometheus z blackbox_exporter czas do wygaśnięcia daje metryka probe_ssl_earliest_cert_expiry, a cert-manager eksportuje certmanager_certificate_expiration_timestamp_seconds. W Zabbix agent 2 ten sam odczyt zapewnia element web.certificate.get.

# usługi sprawdzane przez blackbox_exporter: mniej niż 14 dni
(probe_ssl_earliest_cert_expiry - time()) / 86400 < 14

# certyfikaty cert-manager: mniej niż 29 dni (renewBefore minus dzień), czyli automat nie odnowił w terminie
(certmanager_certificate_expiration_timestamp_seconds - time()) / 86400 < 29

Protokół ACME dla publicznych certyfikatów i automatyczna rejestracja w wewnętrznym urzędzie usuwają większość pracy ręcznej. Certyfikaty, których nie da się zautomatyzować, mają spisaną procedurę i termin w kalendarzu zespołu, nie jednej osoby. Raz w roku, dla certyfikatów z długim okresem ważności, takich jak urzędy pośrednie i certyfikaty federacji, przeprowadza się próbną wymianę w środowisku testowym.

Decyzje i alternatywy

PodejścieKiedy ma sensOgraniczenie
Miękka reguła rozdzielenia maszyn (AntiAffinityClassNames)domyślne rozdzielenie resolverów na hostach klastra Hyper-Vprzy braku innego dostępnego węzła klaster umieszcza obie grupy razem
Wymuszona reguła (ClusterEnforcedAntiAffinity)resolvery nie mogą trafić na jeden hostprzy dwóch węzłach awaria jednego uniemożliwia uruchomienie obu grup na pozostałym
Forwardery od jednego dostawcyjedno łącze internetowedwa adresy tego samego dostawcy to jeden punkt awarii
Forwardery od dwóch dostawców plus podpowiedzi głównedwa niezależne łączapodpowiedzi główne wymagają zapory przepuszczającej zapytania DNS do dowolnych adresów
Wpisy własne w ConfigMapie coredns-customk3s, gdzie coredns jest nadpisywana przy aktualizacjidotyczy k3s; w innych dystrybucjach zmiana Corefile działa inaczej
Resolver jako pod w tym samym klastrzetylko dla nazw usług klastrazależność od klastra: jego awaria odbiera węzłom rozwiązywanie nazw
Odnawianie ręczne z progami 30/14/7 dnicertyfikaty niedające się zautomatyzowaćwymaga właściciela, procedury i terminu w kalendarzu zespołu
Odnawianie automatyczne (ACME, automatyczna rejestracja, cert-manager)certyfikaty publiczne i wewnętrznewymaga alertu zdarzeniowego, który wykryje automat, który przestał działać

Kolejność prac

  1. Inwentaryzacja klientów DNS: lista resolverów każdej karty sieciowej stacji i serwerów (Get-DnsClientServerAddress -AddressFamily IPv4): wszędzie dwa adresy maszyn na różnych hostach, bez adresów nieistniejących maszyn, serwerów wskazujących tylko siebie i adresu usługi DNS klastra wśród resolverów węzła.
  2. Poprawa zakresów DHCP (opcja 6 z dwoma adresami), kolejności DNS na kontrolerach domeny, limitu czasu w resolv.conf, forwarderów i przekierowań warunkowych oraz reguły rozdzielenia maszyn w klastrze wirtualizacji. Kontrola: żaden klient nie ma jednego adresu, a oba resolvery stoją na różnych hostach.
  3. Uzupełnienie ConfigMapy coredns-custom i weryfikacja, że węzły klastra korzystają z resolverów spoza klastra.
  4. Dodanie pomiarów czasu odpowiedzi i błędów dla każdego resolvera oraz alertów z progami z sekcji monitoringu.
  5. Test przez wyłączenie jednego resolvera, powtarzany co pół roku i po większej zmianie w sieci.
  6. Inwentaryzacja certyfikatów z trzech źródeł. Magazyn komputera Windows sprawdza Get-ChildItem Cert:\LocalMachine\My z filtrem NotAfter na najbliższe 30 dni.
  7. Wprowadzenie dziennego pomiaru dni do wygaśnięcia, progów 30/14/7 dni dla każdego wpisu oraz alertu zdarzeniowego dla certyfikatów odnawianych automatycznie. Kontrola: cotygodniowe zestawienie skanu z inwentarzem nie wykazuje różnic bez właściciela.
  8. Odnawianie: ACME i automatyczna rejestracja tam, gdzie to możliwe, procedury ręczne dla reszty oraz roczna próbna wymiana certyfikatów o długim okresie ważności.

Ograniczenia i pułapki

  • Podpowiedzi główne a zapora. UseRootHint zadziała tylko wtedy, gdy zapora pozwala kontrolerom domeny wysyłać zapytania DNS do dowolnych adresów w internecie; jeśli reguły dopuszczają tylko adresy forwarderów, podpowiedzi główne nie pomogą. Reguły zapory trzeba przetestować przy odłączonych forwarderach.
  • Miękka reguła rozdzielenia maszyn. Zmiana AntiAffinityClassNames działa dopiero po ponownym uruchomieniu zasobów, a bez innego dostępnego węzła obie grupy trafiają na jeden host. Rozmieszczenie resolverów po migracjach i awariach sprawdza się osobno.
  • Pomiar czasu nie wykrywa SERVFAIL. Gdy serwer odpowie kodem błędu, np. SERVFAIL lub NXDOMAIN, element net.dns.perf zwraca czas, a nie 0, więc samo mierzenie czasu go nie wykryje. Odpowiedzi z błędem wymagają osobnego elementu.
  • Odnowiony plik, stary certyfikat w pamięci usługi. Po odnowieniu usługa nadal może przedstawiać stary certyfikat. Numer seryjny i datę wygaśnięcia z pliku (openssl x509 -noout -serial -enddate -in <plik>) porównuje się z certyfikatem faktycznie przedstawianym przez usługę (openssl s_client -connect <host>:443 -servername <host> przekazane do openssl x509 -noout -serial -enddate).

Źródła