Kopie zapasowe i obsługa awarii
RPO i RTO, zasada 3-2-1 z kopią niezmienną, protokół testu odtworzenia, kopie klastra Kubernetes (etcd w k3s, Velero) oraz procedura pierwszej godziny awarii: prowadzący, komunikaty, wycofanie zmian i eskalacja.
Zielony status zadania kopii nie dowodzi, że dane da się odtworzyć: zadanie mogło objąć za mało woluminów, a klucz do repozytorium mógł zostać zapisany na serwerze, który właśnie trzeba odtworzyć. W klastrze Kubernetes prowadzonym przez GitOps dochodzi założenie, że „wszystko jest w Gicie”, prawdziwe tylko dla definicji. Dokument opisuje wyznaczanie RPO i RTO, kopie poza zasięgiem produkcji, protokół testu odtworzenia, kopie klastra k3s oraz procedurę pierwszej godziny awarii, w której decydują role, komunikacja i wycofanie zmian.
RPO i RTO dla każdego systemu
Status „zakończono pomyślnie” oznacza tylko, że dane zostały zapisane. Kopia istnieje dopiero wtedy, gdy ktoś ją odtworzył, zmierzył czas i porównał wynik z założeniami. Każdy system ma dwie liczby, uzgodnione z jego właścicielem, a nie ustalone samodzielnie przez dział IT:
- RPO (Recovery Point Objective): ile danych można stracić, liczone w czasie od ostatniej kopii.
- RTO (Recovery Time Objective): jak długo system może nie działać, licząc od decyzji o odtworzeniu do potwierdzenia przez użytkowników, że działa.
Najprostsza forma to tabela w dokumentacji, przeglądana raz w roku:
| System | RPO | RTO | Kopia | Test odtworzenia |
|---|---|---|---|---|
| Kontrolery domeny | 24 h | 4 h | stan systemu codziennie, dwa kontrolery | raz w roku, w izolacji |
| Baza systemu księgowego | 15 min | 4 h | pełna codziennie, dziennik transakcji co 15 min | co kwartał, do punktu w czasie |
| Serwer plików | 24 h | 8 h (pojedynczy plik: 1 h) | codziennie, wersje z 30 dni | folder co miesiąc, całość raz w roku |
| Repozytorium Git i CI | 24 h | 8 h | lustro co noc poza serwerem Git | co pół roku, na czystej maszynie |
| Klaster Kubernetes | 24 h | 8 h | migawka etcd i kopie wolumenów | co kwartał, do osobnego klastra |
RPO wyznacza częstość kopii: przy RPO 15 minut kopia dobowa nie spełnia wymagania, niezależnie od jakości wykonania. RTO wyznacza sposób odtwarzania: przywrócenie 2 TB z magazynu poza lokalizacją przez łącze 200 Mb/s trwa ponad 20 godzin, więc RTO 8 godzin wymaga kopii lokalnej.
Kopia poza zasięgiem produkcji
Zasada 3-2-1 to trzy kopie danych, licząc produkcyjną, na dwóch różnych nośnikach, jedna poza lokalizacją. Rozszerzenie 3-2-1-1-0 dodaje kopię niezmienną lub offline, której nie da się zmodyfikować ani usunąć z poziomu produkcji, także kontem administratora domeny, oraz zero błędów przy teście odtworzenia.
Nie jest kopią zapasową nic, co dzieli los z oryginałem:
- checkpoint Hyper-V: ten sam magazyn, łańcuch zależny od dysku nadrzędnego,
- migawka macierzy lub wolumenu: chroni przed błędem logicznym, nie przed awarią macierzy,
- RAID i replikacja synchroniczna: powielają także usunięcie i szyfrowanie,
- folder synchronizowany z OneDrive lub SharePoint: usunięcie lokalne usuwa w chmurze, a kosz ma termin,
- migawka CSI w klastrze na tym samym magazynie.
Kopią jest dopiero to, co leży gdzie indziej i da się odtworzyć bez oryginału.
| Forma kopii | Przed czym chroni | Na co zwrócić uwagę |
|---|---|---|
| Magazyn obiektowy z blokadą obiektów (S3 Object Lock z włączonym wersjonowaniem lub odpowiednik) w trybie compliance | usunięciem i nadpisaniem w okresie blokady, także przez administratora konta | okres blokady dłuższy niż czas, przez który atak może pozostać niezauważony, np. co najmniej 30 dni |
| Repozytorium na serwerze spoza domeny, z osobnymi poświadczeniami i MFA do konsoli | przejęciem kont domenowych | żadnych haseł wspólnych z domeną, brak dostępu RDP z sieci biurowej |
| Udział sieciowy w tej samej domenie | awarią sprzętu produkcyjnego | nie chroni przed ransomware z uprawnieniami domeny; prawo zapisu ma mieć wyłącznie dedykowane konto systemu kopii, a nie Domain Admins ani Domain Users |
W trybie compliance S3 Object Lock chroniona wersja obiektu nie może zostać nadpisana ani usunięta przez żadnego użytkownika, także konto główne, natomiast tryb GOVERNANCE mogą pominąć użytkownicy ze specjalnym uprawnieniem. Odpowiednik w Azure to niezmienna pamięć obiektów blob, która odpowiada trybowi compliance dopiero po zablokowaniu polityki retencji.
Ransomware z uprawnieniami administratora domeny szyfruje lub usuwa również kopie zapasowe, do których może dotrzeć. To samo dotyczy kluczy: kopia zaszyfrowana kluczem przechowywanym wyłącznie na serwerze kopii lub w domenie dzieli z produkcją ten sam punkt awarii. Bez działającej domeny muszą być dostępne: dokumentacja z kolejnością odtwarzania (katalog i DNS zwykle pierwsze), hasła i klucze do systemu kopii, nośniki instalacyjne i konfiguracja urządzeń sieciowych.
Protokół testu odtworzenia
Test bez protokołu jest anegdotą. Protokół określa, co się odtwarza, jak często, kto to robi i po czym poznaje się sukces.
| Scenariusz | Częstość | Kto | Kryterium sukcesu |
|---|---|---|---|
| Pojedynczy plik lub folder ze wskazanej daty | co miesiąc | dyżurny administrator, rotacyjnie | zawartość zgodna z wersją z tej daty, czas poniżej 1 h |
| Maszyna wirtualna w odizolowanej sieci | co kwartał | osoba, która nie konfigurowała kopii | system startuje, usługa odpowiada na żądanie testowe, czas w granicach RTO |
| Baza danych do punktu w czasie | co kwartał | administrator z właścicielem aplikacji | kontrola spójności bez błędów, aplikacja widzi dane z zadanego momentu |
| Kontroler domeny w izolacji | raz w roku | dwie osoby, według spisanej procedury | logowanie i zapytania LDAP działają, hasło DSRM jest znane |
Trzy zasady decydują o wartości testu:
- Test wykonuje osoba inna niż autor konfiguracji kopii, wyłącznie na podstawie dokumentacji; każde pytanie do autora jest brakiem w dokumentacji.
- Odtworzona maszyna startuje w sieci bez połączenia z produkcją (na Hyper-V wystarczy przełącznik typu Private), bo kopia serwera ma tę samą nazwę i adres co oryginał.
- Czas mierzy się od decyzji o odtworzeniu do potwierdzenia, że usługa działa, a nie od uruchomienia zadania.
Każdy test kończy się wypełnionym protokołem, przechowywanym razem z dokumentacją systemu. Protokół zawiera: datę, wykonawcę (z adnotacją, że nie konfigurował kopii), system, kopię (datę i repozytorium), cel (RPO i RTO), zakres, godzinę startu i końca z czasem łącznym, sposób weryfikacji (np. 20 losowych plików otwartych, liczba plików zgodna z oryginałem), wynik, odchylenia (np. hasło do repozytorium zna tylko jedna osoba) oraz zadania z odpowiedzialnym i terminem.
Wiek ostatniej udanej kopii jako metryka
Status zadań w konsoli mówi niewiele: zadanie może w ogóle się nie uruchomić, bo ktoś wyłączył harmonogram albo zmienił hasło konta serwisowego, a konsola nie pokaże błędu, bo żadne zadanie nie zakończyło się niepowodzeniem. Liczy się więc wiek ostatniej udanej kopii każdego systemu, odczytywany z raportu lub API systemu kopii (w Windows Server Backup cmdlet Get-WBSummary, pole LastSuccessfulBackupTime). Wartość trafia do monitoringu jako metryka z progiem, a nie do raportu e-mail, którego nikt nie czyta. Progi alertu wynikają z częstości kopii:
| Częstość kopii | Ostrzeżenie | Alert krytyczny |
|---|---|---|
| co 15 minut (dziennik transakcji) | 1 h | 2 h |
| codziennie | 26 h | 50 h |
| co tydzień | 8 dni | 15 dni |
Kopie w Kubernetes
Repozytorium Git odtwarza definicje. Po awarii macierzy, na której działały wszystkie węzły sterujące klastra k3s, Argo CD zsynchronizuje repozytorium i wdrożenia będą zielone, ale aplikacje wystartują z pustymi bazami: dane leżały na lokalnych wolumenach padniętych węzłów, a sekret wpisany ręcznie przez kubectl create secret nigdy nie trafił do repozytorium. Dane, sekrety i stan powstałe w trakcie działania wymagają własnych kopii, przechowywanych poza klastrem.
Trzy warstwy, trzy źródła odtworzenia
Klaster ma trzy warstwy odtwarzane z różnych miejsc: definicje z repozytorium, stan API z migawki etcd, dane aplikacji z kopii wolumenów i zrzutów baz. Do tego dochodzą klucze, bez których żadna z tych kopii nie zadziała.
| Co | Źródło odtworzenia | Narzędzie | Gdzie przechowywać | Częstość |
|---|---|---|---|---|
| Manifesty, wartości Helm, definicje aplikacji Argo CD | repozytorium Git | ponowna synchronizacja | serwer Git i lustro poza klastrem | przy każdej zmianie |
| Stan API: obiekty spoza Gita, Secrets, zasoby operatorów | migawka etcd | k3s etcd-snapshot | dysk węzła i magazyn S3 poza klastrem | co 6 godzin |
| Przestrzenie nazw z wolumenami trwałymi | kopia Velero | velero schedule | magazyn S3 poza klastrem | codziennie |
| Bazy danych | zrzut logiczny | CronJob z pg_dump lub odpowiednikiem | magazyn S3 poza klastrem | według RPO, np. co godzinę |
| Token serwera k3s, klucz do sekretów, klucz urzędu CA | sejf haseł | kopia ręczna | sejf poza klastrem | po instalacji i każdej zmianie |
Repozytorium samo też potrzebuje kopii, jeśli serwer Git działa w tym samym klastrze lub na tym samym hoście. Wystarczy lustro (git clone --mirror) na innej maszynie, odświeżane cyklicznie.
Migawki etcd w k3s
Wbudowane etcd w k3s (klaster zainicjowany z --cluster-init lub serwery dołączone do klastra HA) wykonuje migawki automatycznie: domyślnie co 12 godzin, z retencją pięciu migawek, w katalogu /var/lib/rancher/k3s/server/db/snapshots na każdym serwerze. Domyślnie nic nie trafia poza węzeł, więc awaria dysku zabiera klaster razem z jego migawkami. Harmonogram, retencję i wysyłkę do magazynu S3 ustawia się w pliku konfiguracyjnym na każdym serwerze, a zmiana wymaga restartu usługi k3s:
etcd-snapshot-schedule-cron: "0 */6 * * *"
etcd-snapshot-retention: 28
etcd-s3: true
etcd-s3-config-secret: k3s-etcd-s3
Przy migawkach co 6 godzin retencja lokalna 28 daje tydzień historii na każdym węźle. W S3 limit jest wspólny dla klastra i domyślnie równy etcd-snapshot-retention, więc przy trzech serwerach 28 obiektów to około 9 cykli; dokumentacja radzi ustawiać etcd-s3-retention na liczbę serwerów razy liczbę cykli (3 × 28 = 84).
Nowsze wydania k3s pozwalają nie trzymać klucza w pliku: etcd-s3-config-secret wskazuje Secret typu etcd.k3s.cattle.io/s3-config-secret w kube-system z kluczami etcd-s3-endpoint, etcd-s3-bucket, etcd-s3-folder, etcd-s3-access-key i etcd-s3-secret-key, a dostęp do Secretu ogranicza RBAC. Secret działa tylko wtedy, gdy w pliku są wyłącznie etcd-s3 i etcd-s3-config-secret (inne opcje S3, w tym etcd-s3-retention, powodują jego zignorowanie) i nie jest używany przy przywracaniu z S3, gdzie ustawienia podaje się w poleceniu. W starszych wydaniach klucz leży w config.yaml, więc plik musi być czytelny tylko dla roota. Sam klucz ma prawo zapisu wyłącznie do jednego bucketu. Bucket z blokadą obiektów chroni migawki przed usunięciem przez kogoś, kto przejmie węzeł; okres blokady trzeba dobrać do retencji, bo migawki objęte blokadą nie zostaną usunięte przed jej upływem, niezależnie od etcd-s3-retention. Przed ryzykowną zmianą, na przykład aktualizacją wersji k3s, migawkę wykonuje się ręcznie poleceniem k3s etcd-snapshot save.
Przywrócenie z migawki zastępuje stan całego klastra. Wykonuje się je na jednym serwerze, przy zatrzymanym k3s na wszystkich serwerach, poleceniem k3s server --cluster-reset --cluster-reset-restore-path=<ścieżka do migawki>, a pozostałe serwery dołącza ponownie po usunięciu ich lokalnego katalogu /var/lib/rancher/k3s/server/db. To narzędzie na uszkodzony stan API, a nie na pojedynczą usuniętą aplikację. Pojedynczy serwer k3s bez --cluster-init używa domyślnie SQLite i polecenia etcd-snapshot go nie dotyczą; kopią jest katalog /var/lib/rancher/k3s/server/db razem z tokenem, wykonana przy zatrzymanym k3s.
Velero: przestrzenie nazw i wolumeny
Velero eksportuje obiekty API wybranych przestrzeni nazw do magazynu obiektowego, a z włączonym node agentem kopiuje także zawartość wolumenów na poziomie plików. Odtwarza na poziomie przestrzeni nazw, także pod inną nazwą (--namespace-mappings) lub w innym klastrze, czego migawka etcd nie potrafi. Woluminy lokalne (local-path) są związane z węzłem, więc ich odtworzenie zależy od dostępności tego węzła lub kopii plików.
velero schedule create app-prod-daily --schedule="0 2 * * *" --include-namespaces app-prod --default-volumes-to-fs-backup --ttl 720h
Harmonogram działa codziennie o 2:00, a kopie przechowuje 30 dni. Opcja --default-volumes-to-fs-backup istnieje od Velero 1.10, a we wcześniejszych wersjach nazywała się --default-volumes-to-restic.
Kopia plików działającej bazy danych nie gwarantuje spójności. Dla baz właściwą kopią jest zrzut logiczny wykonywany przez CronJob do magazynu poza klastrem albo hak Velero (adnotacja pre.hook.backup.velero.io/command na podzie), który przed kopią wykonuje zrzut na wolumen. Migawki wolumenów przez interfejs CSI są szybkie, ale bez przeniesienia danych do magazynu obiektowego zostają w tym samym systemie pamięci masowej co oryginał, więc chronią przed błędem w aplikacji, nie przed awarią magazynu.
Test odtworzenia do osobnego klastra
Test sprawdza, czy założenie „wszystko jest w Gicie” jest prawdziwe. Wykonuje się go raz na kwartał, na osobnym klastrze w odizolowanej sieci:
- Świeży k3s w tej samej wersji co produkcja, na jednej lub kilku maszynach testowych.
- Velero z tą samą wtyczką magazynu i lokalizacją kopii w trybie tylko do odczytu, żeby klaster testowy nie mógł usunąć ani nadpisać kopii produkcyjnych.
- Synchronizacja z repozytorium, przywrócenie sekretów z sejfu lub menedżera sekretów.
- Odtworzenie przestrzeni nazw z kopii Velero i baz ze zrzutów.
- Weryfikacja, że aplikacje startują i widzą swoje dane, oraz pomiar czasu od pustego klastra do działającej aplikacji.
Pierwszy test zwykle się nie udaje, a lista braków staje się listą zadań: sekret wpisany ręcznie, wolumen poza harmonogramem, token, którego nikt nie skopiował.
Pierwsza godzina awarii
Czas awarii zależy często mniej od trudności problemu niż od tego, czy ktoś prowadzi, czy użytkownicy wiedzą, co się dzieje, i czy pierwszym pytaniem było „co się zmieniło”. Procedura porządkuje pierwszą godzinę w etapy: prowadzenie, zakres, komunikat, ostatnie zmiany, wycofanie, notatki i eskalacja.
Minuta 0: potwierdzenie awarii i prowadzący
Pierwszy krok to potwierdzenie, że problem jest rzeczywisty i szerszy niż jedno stanowisko: drugi użytkownik, druga lokalizacja, alert w monitoringu. Potem pada jednoznaczne ogłoszenie awarii z wskazaniem prowadzącego.
Prowadzący nie musi być najbardziej doświadczoną osobą w zespole. Jego zadaniem jest koordynacja, komunikacja i notatki, a nie diagnoza. Pierwsza osoba, która potwierdzi awarię, prowadzi, dopóki wyraźnie nie przekaże tej roli komuś innemu. Przy dwóch osobach na dyżurze jedna prowadzi, a druga diagnozuje: ustala zakres, sprawdza ostatnie zmiany, wycofuje i testuje. Zgłoszenia użytkowników zbiera helpdesk albo prowadzący.
Od tej chwili wszystko, co dotyczy awarii, dzieje się w jednym miejscu: jednym wątku na czacie zespołu albo jednym dokumencie. Prowadzący przepisuje tam od razu ustalenia z rozmów telefonicznych i wstrzymuje pozostałe wdrożenia i zmiany w dotkniętych systemach, bo każda dodatkowa zmiana utrudnia ustalenie przyczyny.
Minuta 5: ustalenie zakresu
Zanim rozpocznie się naprawa, zespół odpowiada na cztery pytania: kogo dotyczy problem (wszystkich, jednej lokalizacji, jednej grupy), których systemów, od kiedy dokładnie (godzina z monitoringu lub dziennika, a nie z pierwszego zgłoszenia) i co nadal działa. To, co działa, zawęża poszukiwania równie skutecznie jak to, co nie działa.
| Objaw | Pierwsze podejrzenie |
|---|---|
| Jedna aplikacja nie działa dla wszystkich | ostatnie wdrożenie, wygasający certyfikat, baza danych, brak miejsca na dysku |
| Wiele systemów naraz w jednej lokalizacji | łącze, przełącznik, DNS jako pojedynczy punkt awarii, zasilanie |
| Nie działa logowanie do wielu usług | kontrolery domeny, DNS, czas systemowy, wygasłe hasło konta serwisowego |
| Wszystko działa, ale wolno | magazyn danych, trwające zadanie kopii, nasycone łącze |
Minuta 15: pierwszy komunikat
Pierwszy komunikat wychodzi najpóźniej po 15 minutach, nawet bez wiedzy o przyczynie. Użytkownicy potrzebują informacji, że problem jest znany, kto się nim zajmuje i kiedy będzie kolejna wiadomość, a nie diagnozy.
[AWARIA] <system>, od <godzina>
Co nie działa: <objaw z perspektywy użytkownika, np. błąd po zalogowaniu do ERP>
Kogo dotyczy: <wszyscy / lokalizacja / dział>; nie dotyczy: <jeśli wiadomo>
Obejście: <np. faktury wystawiane ręcznie według instrukcji z intranetu> albo: brak
Zajmuje się: zespół IT, prowadzi <imię i nazwisko>
Następna informacja: o <godzina, np. 9:30>, także jeśli nic się nie zmieni
Prośba o niezgłaszanie tego problemu osobno.
Kolejne komunikaty wychodzą w zapowiedzianym rytmie, zwykle co 30 minut. Komunikat „bez zmian, następna informacja o 10:00” jest lepszy niż cisza, bo cisza generuje telefony, które zabierają czas diagnozującym. Lista odbiorców i kanał zapasowy są ustalone przed awarią: jeśli awaria dotyczy poczty albo komunikatora, komunikat wychodzi inną drogą, na przykład SMS-em do kierowników.
Minuty 15–30: co się zmieniło
Według książki Google SRE około 70% awarii wynika ze zmian w działającym systemie. Zmianą bywa wdrożenie, aktualizacja, zmiana konfiguracji, a także wygaśnięcie certyfikatu lub hasła. Pierwsze pytanie diagnozującego brzmi więc „co się zmieniło w ostatnich godzinach”, a nie „dlaczego to nie działa”.
Na serwerach Windows zmiany zostawiają ślady w dzienniku System: zdarzenie 19 to zainstalowana aktualizacja, 1074 restart zlecony przez proces albo użytkownika, 7040 zmiana typu uruchamiania usługi, a 7045 nowa usługa. W klastrze Kubernetes pierwszym źródłem są zdarzenia posortowane od najstarszych do najnowszych (kubectl get events -A --sort-by=.lastTimestamp); są one domyślnie przechowywane przez godzinę. Co i kiedy zostało wdrożone, widać w historii repozytorium infrastruktury (git log --since="6 hours ago") i w historii synchronizacji w Argo CD (argocd app history <aplikacja>). Jeśli rewizja sprzed kilku minut poprzedza pierwsze zgłoszenie, hipoteza jest gotowa.
Najpierw wycofanie, potem szukanie przyczyny
Jeśli w oknie przed awarią była zmiana, jej wycofanie jest pierwszym działaniem, a nie ostatnią deską ratunku. Przywrócenie usługi jest celem pierwszej godziny; zrozumienie przyczyny jest celem przeglądu po awarii.
| Zmiana | Wycofanie | Uwagi |
|---|---|---|
| Wdrożenie przez GitOps | git revert <commit> i synchronizacja | historia w repozytorium pozostaje kompletna |
| Aktualizacja Windows | wusa /uninstall /kb:<numer> | pakiety łączone z aktualizacją stosu obsługi usuwa się przez DISM /Online /Remove-Package |
| Zmiana w zasadach grupy | Restore-GPO z kopii albo wyłączenie łącza GPO | stacje widzą zmianę po odświeżeniu zasad |
| Zmiana na maszynie z checkpointem | przywrócenie checkpointu | utrata zapisów od chwili utworzenia checkpointu |
| Reguła zapory, rekord DNS | przywrócenie poprzedniej wartości | wymaga zapisanej poprzedniej wartości |
W modelu GitOps wycofaniem jest revert w repozytorium. argocd app rollback nie może być wykonane dla aplikacji z włączoną automatyczną synchronizacją i zostawia aplikację niezgodną z repozytorium, więc nadaje się na sytuację bez dostępu do repozytorium. Po nim revert w repozytorium jest obowiązkowy: kolejna synchronizacja, ręczna albo po ponownym włączeniu automatycznej, wdroży wadliwą wersję jeszcze raz. Wyjątki od zasady „najpierw wycofanie” to zmiany nieodwracalne (migracja schematu bazy, dane już przetworzone przez nową wersję) i sytuacje, w których wycofanie jest bardziej ryzykowne niż awaria; decyzję podejmuje wtedy prowadzący i zapisuje ją w notatkach.
Notatki i eskalacja
Prowadzący zapisuje każde ustalenie i każde działanie z godziną i inicjałami osoby. Notatki służą komunikatom, przekazaniu prowadzenia i przeglądowi po awarii; przy takim prowadzeniu hipoteza z ostatniego wdrożenia pojawia się po kilkunastu minutach zamiast po kilkudziesięciu. Progi eskalacji ustala się przed awarią, żeby w jej trakcie nie dyskutować, czy „już pora”.
| Sytuacja | Do kogo | Kiedy |
|---|---|---|
| Brak hipotezy po 30 minutach | druga osoba z zespołu, dostawca systemu | po upływie progu |
| Awaria usługi dostawcy lub chmury | zgłoszenie u dostawcy z najwyższym priorytetem, równolegle z diagnozą | w pierwszych 15 minutach |
| Podejrzenie incydentu bezpieczeństwa: szyfrowanie plików, nieznane konta, nietypowe logowania | kierownictwo i procedura reagowania na incydenty; maszyny odłączać od sieci, nie wyłączać | natychmiast |
| Możliwe naruszenie ochrony danych osobowych | inspektor ochrony danych (doradza) i administrator danych (decyduje o zgłoszeniu do organu nadzorczego) | natychmiast |
| Czas awarii przekracza RTO systemu | kierownictwo, decyzja o trybie awaryjnym | po przekroczeniu RTO |
Zgłoszenie do organu nadzorczego następuje bez zbędnej zwłoki, w miarę możliwości w ciągu 72 godzin od stwierdzenia naruszenia, i dotyczy naruszeń, które mogą powodować ryzyko naruszenia praw lub wolności osób (art. 33 RODO). Podmioty objęte dyrektywą NIS2 mają własne, odrębne terminy zgłaszania incydentów.
Krótki przegląd po awarii
W ciągu kilku dni roboczych zespół spotyka się na 30–45 minut. Celem nie jest znalezienie winnego, tylko ustalenie, co sprawiło, że awaria trwała tyle, ile trwała, i co skróci następną. Zapis przeglądu obejmuje: awarię (system, data, od–do, czas łączny), wpływ (kogo dotyczyła, co nie działało, czy były straty danych), oś czasu z notatek (wykrycie, ogłoszenie, komunikat, hipoteza, wycofanie, potwierdzenie), przyczynę (bezpośrednią i tę, która na nią pozwoliła), to, co zadziałało i co nie zadziałało, oraz zadania z odpowiedzialnym i terminem. Zadania trafiają do zwykłej listy zadań zespołu. Przegląd bez zadań jest tylko rozmową.
Decyzje i alternatywy
| Podejście | Kiedy ma sens | Ograniczenie |
|---|---|---|
| Blokada obiektów w trybie compliance (S3 Object Lock, niezmienna pamięć blob po zablokowaniu retencji) | kopia odporna na usunięcie przez administratora konta | tryb GOVERNANCE można pominąć uprawnieniem; blokada zatrzymuje także migawki, które powinny wygasnąć |
| Repozytorium kopii poza domeną z osobnymi poświadczeniami | brak magazynu z blokadą obiektów | ochrona zależy od izolacji poświadczeń i dostępu sieciowego |
Migawka etcd (k3s etcd-snapshot) | uszkodzony stan API klastra z wbudowanym etcd | zastępuje stan całego klastra; bezużyteczna bez tokenu serwera; SQLite w pojedynczym serwerze wymaga kopii katalogu |
| Velero z kopią plików wolumenów | odtworzenie przestrzeni nazw, także pod inną nazwą lub w innym klastrze | kopia plików działającej bazy nie gwarantuje spójności |
| Zrzut logiczny bazy (CronJob lub hak Velero) | bazy danych | wymaga magazynu poza klastrem i własnej częstości według RPO |
| Migawka CSI bez przeniesienia danych | szybkie cofnięcie błędu w aplikacji | zostaje w tym samym magazynie co oryginał, nie chroni przed jego awarią |
git revert i synchronizacja | wycofanie wdrożenia GitOps | wymaga dostępu do repozytorium |
argocd app rollback | brak dostępu do repozytorium | niedostępne przy automatycznej synchronizacji; zostawia aplikację niezgodną z repozytorium |
| Wycofanie zmiany przed diagnozą | w oknie przed awarią była zmiana | zmiany nieodwracalne i wycofanie ryzykowniejsze niż awaria wymagają decyzji prowadzącego |
Wdrożenie
- Spisanie RPO i RTO każdego systemu z jego właścicielem. Kontrola: częstość kopii wynika z RPO, a sposób odtwarzania (kopia lokalna lub zdalna) z RTO.
- Zapewnienie kopii poza zasięgiem produkcji (3-2-1-1-0): blokada obiektów albo repozytorium poza domeną, klucze i hasła w sejfie poza domeną, dokumentacja kolejności odtwarzania. Kontrola: konto administratora domeny nie ma prawa usunięcia kopii.
- W k3s: harmonogram migawek etcd z wysyłką do S3 na każdym serwerze i restart usługi, kopia tokenu serwera, klucza do sekretów i klucza urzędu CA w sejfie poza klastrem. Kontrola:
sudo k3s etcd-snapshot lspokazuje najnowszą migawkę nie starszą niż interwał harmonogramu oraz pozycje z lokalizacjąs3://; same pozycjefile://oznaczają, że wszystkie migawki leżą na tym samym węźle. - Harmonogramy Velero dla przestrzeni nazw z wolumenami, zrzuty logiczne baz według RPO i lustro repozytorium Git na innej maszynie.
- Protokół testu odtworzenia z częstością i wykonawcami oraz alert na wiek ostatniej udanej kopii z progami z tabeli. Kontrola: wyłączenie harmonogramu na próbnym systemie wywołuje alert w ciągu progu ostrzegawczego.
- Pierwszy test odtworzenia klastra do osobnego klastra w odizolowanej sieci; lista braków staje się listą zadań, a test powtarza się co kwartał.
- Procedura awarii: szablon komunikatu, lista odbiorców z kanałem zapasowym, progi eskalacji i szablon przeglądu ustalone przed pierwszą awarią.
Ograniczenia i pułapki
- Klucze i uprawnienia wspólne z produkcją. Kopia zaszyfrowana kluczem przechowywanym wyłącznie na serwerze kopii lub w domenie ginie razem z domeną, a ransomware z uprawnieniami administratora domeny usuwa kopie, do których dotrze. Klucze i hasła do systemu kopii leżą poza domeną, a repozytorium ma osobne poświadczenia.
- Migawka etcd bez tokenu serwera. Token szyfruje poufne dane w magazynie danych klastra, więc migawka bez tokenu z chwili jej wykonania jest bezużyteczna. Token (
/var/lib/rancher/k3s/server/token) trafia do sejfu poza klastrem, z opisem, którego klastra dotyczy. - Klaster testowy zachowuje się jak produkcja. Klaster odtworzony z migawki lub kopii Velero uruchamia CronJoby, łączy się z zewnętrznymi systemami, wysyła pocztę i zapisuje do baz, do których ma dostęp; test bez izolacji sieciowej może wysłać klientom zdublowane faktury. Sieć testowa nie ma dostępu do systemów produkcyjnych.
- Przywracanie z kopii przy podejrzeniu ataku. Odtworzenie środowiska niszczy ślady i może przywrócić je razem z dostępem atakującego. Incydent bezpieczeństwa przestaje być zwykłą awarią w chwili podejrzenia i od tej chwili obowiązuje odrębna procedura reagowania.