Kopie zapasowe i obsługa awarii

RPO i RTO, zasada 3-2-1 z kopią niezmienną, protokół testu odtworzenia, kopie klastra Kubernetes (etcd w k3s, Velero) oraz procedura pierwszej godziny awarii: prowadzący, komunikaty, wycofanie zmian i eskalacja.

Kopie zapasowe i odtwarzanieObserwowalność

Zielony status zadania kopii nie dowodzi, że dane da się odtworzyć: zadanie mogło objąć za mało woluminów, a klucz do repozytorium mógł zostać zapisany na serwerze, który właśnie trzeba odtworzyć. W klastrze Kubernetes prowadzonym przez GitOps dochodzi założenie, że „wszystko jest w Gicie”, prawdziwe tylko dla definicji. Dokument opisuje wyznaczanie RPO i RTO, kopie poza zasięgiem produkcji, protokół testu odtworzenia, kopie klastra k3s oraz procedurę pierwszej godziny awarii, w której decydują role, komunikacja i wycofanie zmian.

RPO i RTO dla każdego systemu

Status „zakończono pomyślnie” oznacza tylko, że dane zostały zapisane. Kopia istnieje dopiero wtedy, gdy ktoś ją odtworzył, zmierzył czas i porównał wynik z założeniami. Każdy system ma dwie liczby, uzgodnione z jego właścicielem, a nie ustalone samodzielnie przez dział IT:

  • RPO (Recovery Point Objective): ile danych można stracić, liczone w czasie od ostatniej kopii.
  • RTO (Recovery Time Objective): jak długo system może nie działać, licząc od decyzji o odtworzeniu do potwierdzenia przez użytkowników, że działa.

Najprostsza forma to tabela w dokumentacji, przeglądana raz w roku:

SystemRPORTOKopiaTest odtworzenia
Kontrolery domeny24 h4 hstan systemu codziennie, dwa kontroleryraz w roku, w izolacji
Baza systemu księgowego15 min4 hpełna codziennie, dziennik transakcji co 15 minco kwartał, do punktu w czasie
Serwer plików24 h8 h (pojedynczy plik: 1 h)codziennie, wersje z 30 dnifolder co miesiąc, całość raz w roku
Repozytorium Git i CI24 h8 hlustro co noc poza serwerem Gitco pół roku, na czystej maszynie
Klaster Kubernetes24 h8 hmigawka etcd i kopie wolumenówco kwartał, do osobnego klastra

RPO wyznacza częstość kopii: przy RPO 15 minut kopia dobowa nie spełnia wymagania, niezależnie od jakości wykonania. RTO wyznacza sposób odtwarzania: przywrócenie 2 TB z magazynu poza lokalizacją przez łącze 200 Mb/s trwa ponad 20 godzin, więc RTO 8 godzin wymaga kopii lokalnej.

Kopia poza zasięgiem produkcji

Zasada 3-2-1 to trzy kopie danych, licząc produkcyjną, na dwóch różnych nośnikach, jedna poza lokalizacją. Rozszerzenie 3-2-1-1-0 dodaje kopię niezmienną lub offline, której nie da się zmodyfikować ani usunąć z poziomu produkcji, także kontem administratora domeny, oraz zero błędów przy teście odtworzenia.

Nie jest kopią zapasową nic, co dzieli los z oryginałem:

  • checkpoint Hyper-V: ten sam magazyn, łańcuch zależny od dysku nadrzędnego,
  • migawka macierzy lub wolumenu: chroni przed błędem logicznym, nie przed awarią macierzy,
  • RAID i replikacja synchroniczna: powielają także usunięcie i szyfrowanie,
  • folder synchronizowany z OneDrive lub SharePoint: usunięcie lokalne usuwa w chmurze, a kosz ma termin,
  • migawka CSI w klastrze na tym samym magazynie.

Kopią jest dopiero to, co leży gdzie indziej i da się odtworzyć bez oryginału.

Forma kopiiPrzed czym chroniNa co zwrócić uwagę
Magazyn obiektowy z blokadą obiektów (S3 Object Lock z włączonym wersjonowaniem lub odpowiednik) w trybie complianceusunięciem i nadpisaniem w okresie blokady, także przez administratora kontaokres blokady dłuższy niż czas, przez który atak może pozostać niezauważony, np. co najmniej 30 dni
Repozytorium na serwerze spoza domeny, z osobnymi poświadczeniami i MFA do konsoliprzejęciem kont domenowychżadnych haseł wspólnych z domeną, brak dostępu RDP z sieci biurowej
Udział sieciowy w tej samej domenieawarią sprzętu produkcyjnegonie chroni przed ransomware z uprawnieniami domeny; prawo zapisu ma mieć wyłącznie dedykowane konto systemu kopii, a nie Domain Admins ani Domain Users

W trybie compliance S3 Object Lock chroniona wersja obiektu nie może zostać nadpisana ani usunięta przez żadnego użytkownika, także konto główne, natomiast tryb GOVERNANCE mogą pominąć użytkownicy ze specjalnym uprawnieniem. Odpowiednik w Azure to niezmienna pamięć obiektów blob, która odpowiada trybowi compliance dopiero po zablokowaniu polityki retencji.

Ransomware z uprawnieniami administratora domeny szyfruje lub usuwa również kopie zapasowe, do których może dotrzeć. To samo dotyczy kluczy: kopia zaszyfrowana kluczem przechowywanym wyłącznie na serwerze kopii lub w domenie dzieli z produkcją ten sam punkt awarii. Bez działającej domeny muszą być dostępne: dokumentacja z kolejnością odtwarzania (katalog i DNS zwykle pierwsze), hasła i klucze do systemu kopii, nośniki instalacyjne i konfiguracja urządzeń sieciowych.

Protokół testu odtworzenia

Test bez protokołu jest anegdotą. Protokół określa, co się odtwarza, jak często, kto to robi i po czym poznaje się sukces.

ScenariuszCzęstośćKtoKryterium sukcesu
Pojedynczy plik lub folder ze wskazanej datyco miesiącdyżurny administrator, rotacyjniezawartość zgodna z wersją z tej daty, czas poniżej 1 h
Maszyna wirtualna w odizolowanej siecico kwartałosoba, która nie konfigurowała kopiisystem startuje, usługa odpowiada na żądanie testowe, czas w granicach RTO
Baza danych do punktu w czasieco kwartaładministrator z właścicielem aplikacjikontrola spójności bez błędów, aplikacja widzi dane z zadanego momentu
Kontroler domeny w izolacjiraz w rokudwie osoby, według spisanej procedurylogowanie i zapytania LDAP działają, hasło DSRM jest znane

Trzy zasady decydują o wartości testu:

  • Test wykonuje osoba inna niż autor konfiguracji kopii, wyłącznie na podstawie dokumentacji; każde pytanie do autora jest brakiem w dokumentacji.
  • Odtworzona maszyna startuje w sieci bez połączenia z produkcją (na Hyper-V wystarczy przełącznik typu Private), bo kopia serwera ma tę samą nazwę i adres co oryginał.
  • Czas mierzy się od decyzji o odtworzeniu do potwierdzenia, że usługa działa, a nie od uruchomienia zadania.

Każdy test kończy się wypełnionym protokołem, przechowywanym razem z dokumentacją systemu. Protokół zawiera: datę, wykonawcę (z adnotacją, że nie konfigurował kopii), system, kopię (datę i repozytorium), cel (RPO i RTO), zakres, godzinę startu i końca z czasem łącznym, sposób weryfikacji (np. 20 losowych plików otwartych, liczba plików zgodna z oryginałem), wynik, odchylenia (np. hasło do repozytorium zna tylko jedna osoba) oraz zadania z odpowiedzialnym i terminem.

Wiek ostatniej udanej kopii jako metryka

Status zadań w konsoli mówi niewiele: zadanie może w ogóle się nie uruchomić, bo ktoś wyłączył harmonogram albo zmienił hasło konta serwisowego, a konsola nie pokaże błędu, bo żadne zadanie nie zakończyło się niepowodzeniem. Liczy się więc wiek ostatniej udanej kopii każdego systemu, odczytywany z raportu lub API systemu kopii (w Windows Server Backup cmdlet Get-WBSummary, pole LastSuccessfulBackupTime). Wartość trafia do monitoringu jako metryka z progiem, a nie do raportu e-mail, którego nikt nie czyta. Progi alertu wynikają z częstości kopii:

Częstość kopiiOstrzeżenieAlert krytyczny
co 15 minut (dziennik transakcji)1 h2 h
codziennie26 h50 h
co tydzień8 dni15 dni

Kopie w Kubernetes

Repozytorium Git odtwarza definicje. Po awarii macierzy, na której działały wszystkie węzły sterujące klastra k3s, Argo CD zsynchronizuje repozytorium i wdrożenia będą zielone, ale aplikacje wystartują z pustymi bazami: dane leżały na lokalnych wolumenach padniętych węzłów, a sekret wpisany ręcznie przez kubectl create secret nigdy nie trafił do repozytorium. Dane, sekrety i stan powstałe w trakcie działania wymagają własnych kopii, przechowywanych poza klastrem.

Trzy warstwy, trzy źródła odtworzenia

Klaster ma trzy warstwy odtwarzane z różnych miejsc: definicje z repozytorium, stan API z migawki etcd, dane aplikacji z kopii wolumenów i zrzutów baz. Do tego dochodzą klucze, bez których żadna z tych kopii nie zadziała.

CoŹródło odtworzeniaNarzędzieGdzie przechowywaćCzęstość
Manifesty, wartości Helm, definicje aplikacji Argo CDrepozytorium Gitponowna synchronizacjaserwer Git i lustro poza klastremprzy każdej zmianie
Stan API: obiekty spoza Gita, Secrets, zasoby operatorówmigawka etcdk3s etcd-snapshotdysk węzła i magazyn S3 poza klastremco 6 godzin
Przestrzenie nazw z wolumenami trwałymikopia Velerovelero schedulemagazyn S3 poza klastremcodziennie
Bazy danychzrzut logicznyCronJob z pg_dump lub odpowiednikiemmagazyn S3 poza klastremwedług RPO, np. co godzinę
Token serwera k3s, klucz do sekretów, klucz urzędu CAsejf hasełkopia ręcznasejf poza klastrempo instalacji i każdej zmianie

Repozytorium samo też potrzebuje kopii, jeśli serwer Git działa w tym samym klastrze lub na tym samym hoście. Wystarczy lustro (git clone --mirror) na innej maszynie, odświeżane cyklicznie.

Migawki etcd w k3s

Wbudowane etcd w k3s (klaster zainicjowany z --cluster-init lub serwery dołączone do klastra HA) wykonuje migawki automatycznie: domyślnie co 12 godzin, z retencją pięciu migawek, w katalogu /var/lib/rancher/k3s/server/db/snapshots na każdym serwerze. Domyślnie nic nie trafia poza węzeł, więc awaria dysku zabiera klaster razem z jego migawkami. Harmonogram, retencję i wysyłkę do magazynu S3 ustawia się w pliku konfiguracyjnym na każdym serwerze, a zmiana wymaga restartu usługi k3s:

etcd-snapshot-schedule-cron: "0 */6 * * *"
etcd-snapshot-retention: 28
etcd-s3: true
etcd-s3-config-secret: k3s-etcd-s3

Przy migawkach co 6 godzin retencja lokalna 28 daje tydzień historii na każdym węźle. W S3 limit jest wspólny dla klastra i domyślnie równy etcd-snapshot-retention, więc przy trzech serwerach 28 obiektów to około 9 cykli; dokumentacja radzi ustawiać etcd-s3-retention na liczbę serwerów razy liczbę cykli (3 × 28 = 84).

Nowsze wydania k3s pozwalają nie trzymać klucza w pliku: etcd-s3-config-secret wskazuje Secret typu etcd.k3s.cattle.io/s3-config-secret w kube-system z kluczami etcd-s3-endpoint, etcd-s3-bucket, etcd-s3-folder, etcd-s3-access-key i etcd-s3-secret-key, a dostęp do Secretu ogranicza RBAC. Secret działa tylko wtedy, gdy w pliku są wyłącznie etcd-s3 i etcd-s3-config-secret (inne opcje S3, w tym etcd-s3-retention, powodują jego zignorowanie) i nie jest używany przy przywracaniu z S3, gdzie ustawienia podaje się w poleceniu. W starszych wydaniach klucz leży w config.yaml, więc plik musi być czytelny tylko dla roota. Sam klucz ma prawo zapisu wyłącznie do jednego bucketu. Bucket z blokadą obiektów chroni migawki przed usunięciem przez kogoś, kto przejmie węzeł; okres blokady trzeba dobrać do retencji, bo migawki objęte blokadą nie zostaną usunięte przed jej upływem, niezależnie od etcd-s3-retention. Przed ryzykowną zmianą, na przykład aktualizacją wersji k3s, migawkę wykonuje się ręcznie poleceniem k3s etcd-snapshot save.

Przywrócenie z migawki zastępuje stan całego klastra. Wykonuje się je na jednym serwerze, przy zatrzymanym k3s na wszystkich serwerach, poleceniem k3s server --cluster-reset --cluster-reset-restore-path=<ścieżka do migawki>, a pozostałe serwery dołącza ponownie po usunięciu ich lokalnego katalogu /var/lib/rancher/k3s/server/db. To narzędzie na uszkodzony stan API, a nie na pojedynczą usuniętą aplikację. Pojedynczy serwer k3s bez --cluster-init używa domyślnie SQLite i polecenia etcd-snapshot go nie dotyczą; kopią jest katalog /var/lib/rancher/k3s/server/db razem z tokenem, wykonana przy zatrzymanym k3s.

Velero: przestrzenie nazw i wolumeny

Velero eksportuje obiekty API wybranych przestrzeni nazw do magazynu obiektowego, a z włączonym node agentem kopiuje także zawartość wolumenów na poziomie plików. Odtwarza na poziomie przestrzeni nazw, także pod inną nazwą (--namespace-mappings) lub w innym klastrze, czego migawka etcd nie potrafi. Woluminy lokalne (local-path) są związane z węzłem, więc ich odtworzenie zależy od dostępności tego węzła lub kopii plików.

velero schedule create app-prod-daily --schedule="0 2 * * *" --include-namespaces app-prod --default-volumes-to-fs-backup --ttl 720h

Harmonogram działa codziennie o 2:00, a kopie przechowuje 30 dni. Opcja --default-volumes-to-fs-backup istnieje od Velero 1.10, a we wcześniejszych wersjach nazywała się --default-volumes-to-restic.

Kopia plików działającej bazy danych nie gwarantuje spójności. Dla baz właściwą kopią jest zrzut logiczny wykonywany przez CronJob do magazynu poza klastrem albo hak Velero (adnotacja pre.hook.backup.velero.io/command na podzie), który przed kopią wykonuje zrzut na wolumen. Migawki wolumenów przez interfejs CSI są szybkie, ale bez przeniesienia danych do magazynu obiektowego zostają w tym samym systemie pamięci masowej co oryginał, więc chronią przed błędem w aplikacji, nie przed awarią magazynu.

Test odtworzenia do osobnego klastra

Test sprawdza, czy założenie „wszystko jest w Gicie” jest prawdziwe. Wykonuje się go raz na kwartał, na osobnym klastrze w odizolowanej sieci:

  1. Świeży k3s w tej samej wersji co produkcja, na jednej lub kilku maszynach testowych.
  2. Velero z tą samą wtyczką magazynu i lokalizacją kopii w trybie tylko do odczytu, żeby klaster testowy nie mógł usunąć ani nadpisać kopii produkcyjnych.
  3. Synchronizacja z repozytorium, przywrócenie sekretów z sejfu lub menedżera sekretów.
  4. Odtworzenie przestrzeni nazw z kopii Velero i baz ze zrzutów.
  5. Weryfikacja, że aplikacje startują i widzą swoje dane, oraz pomiar czasu od pustego klastra do działającej aplikacji.

Pierwszy test zwykle się nie udaje, a lista braków staje się listą zadań: sekret wpisany ręcznie, wolumen poza harmonogramem, token, którego nikt nie skopiował.

Pierwsza godzina awarii

Czas awarii zależy często mniej od trudności problemu niż od tego, czy ktoś prowadzi, czy użytkownicy wiedzą, co się dzieje, i czy pierwszym pytaniem było „co się zmieniło”. Procedura porządkuje pierwszą godzinę w etapy: prowadzenie, zakres, komunikat, ostatnie zmiany, wycofanie, notatki i eskalacja.

Minuta 0: potwierdzenie awarii i prowadzący

Pierwszy krok to potwierdzenie, że problem jest rzeczywisty i szerszy niż jedno stanowisko: drugi użytkownik, druga lokalizacja, alert w monitoringu. Potem pada jednoznaczne ogłoszenie awarii z wskazaniem prowadzącego.

Prowadzący nie musi być najbardziej doświadczoną osobą w zespole. Jego zadaniem jest koordynacja, komunikacja i notatki, a nie diagnoza. Pierwsza osoba, która potwierdzi awarię, prowadzi, dopóki wyraźnie nie przekaże tej roli komuś innemu. Przy dwóch osobach na dyżurze jedna prowadzi, a druga diagnozuje: ustala zakres, sprawdza ostatnie zmiany, wycofuje i testuje. Zgłoszenia użytkowników zbiera helpdesk albo prowadzący.

Od tej chwili wszystko, co dotyczy awarii, dzieje się w jednym miejscu: jednym wątku na czacie zespołu albo jednym dokumencie. Prowadzący przepisuje tam od razu ustalenia z rozmów telefonicznych i wstrzymuje pozostałe wdrożenia i zmiany w dotkniętych systemach, bo każda dodatkowa zmiana utrudnia ustalenie przyczyny.

Minuta 5: ustalenie zakresu

Zanim rozpocznie się naprawa, zespół odpowiada na cztery pytania: kogo dotyczy problem (wszystkich, jednej lokalizacji, jednej grupy), których systemów, od kiedy dokładnie (godzina z monitoringu lub dziennika, a nie z pierwszego zgłoszenia) i co nadal działa. To, co działa, zawęża poszukiwania równie skutecznie jak to, co nie działa.

ObjawPierwsze podejrzenie
Jedna aplikacja nie działa dla wszystkichostatnie wdrożenie, wygasający certyfikat, baza danych, brak miejsca na dysku
Wiele systemów naraz w jednej lokalizacjiłącze, przełącznik, DNS jako pojedynczy punkt awarii, zasilanie
Nie działa logowanie do wielu usługkontrolery domeny, DNS, czas systemowy, wygasłe hasło konta serwisowego
Wszystko działa, ale wolnomagazyn danych, trwające zadanie kopii, nasycone łącze

Minuta 15: pierwszy komunikat

Pierwszy komunikat wychodzi najpóźniej po 15 minutach, nawet bez wiedzy o przyczynie. Użytkownicy potrzebują informacji, że problem jest znany, kto się nim zajmuje i kiedy będzie kolejna wiadomość, a nie diagnozy.

[AWARIA] <system>, od <godzina>

Co nie działa: <objaw z perspektywy użytkownika, np. błąd po zalogowaniu do ERP>
Kogo dotyczy: <wszyscy / lokalizacja / dział>; nie dotyczy: <jeśli wiadomo>
Obejście: <np. faktury wystawiane ręcznie według instrukcji z intranetu> albo: brak
Zajmuje się: zespół IT, prowadzi <imię i nazwisko>
Następna informacja: o <godzina, np. 9:30>, także jeśli nic się nie zmieni

Prośba o niezgłaszanie tego problemu osobno.

Kolejne komunikaty wychodzą w zapowiedzianym rytmie, zwykle co 30 minut. Komunikat „bez zmian, następna informacja o 10:00” jest lepszy niż cisza, bo cisza generuje telefony, które zabierają czas diagnozującym. Lista odbiorców i kanał zapasowy są ustalone przed awarią: jeśli awaria dotyczy poczty albo komunikatora, komunikat wychodzi inną drogą, na przykład SMS-em do kierowników.

Minuty 15–30: co się zmieniło

Według książki Google SRE około 70% awarii wynika ze zmian w działającym systemie. Zmianą bywa wdrożenie, aktualizacja, zmiana konfiguracji, a także wygaśnięcie certyfikatu lub hasła. Pierwsze pytanie diagnozującego brzmi więc „co się zmieniło w ostatnich godzinach”, a nie „dlaczego to nie działa”.

Na serwerach Windows zmiany zostawiają ślady w dzienniku System: zdarzenie 19 to zainstalowana aktualizacja, 1074 restart zlecony przez proces albo użytkownika, 7040 zmiana typu uruchamiania usługi, a 7045 nowa usługa. W klastrze Kubernetes pierwszym źródłem są zdarzenia posortowane od najstarszych do najnowszych (kubectl get events -A --sort-by=.lastTimestamp); są one domyślnie przechowywane przez godzinę. Co i kiedy zostało wdrożone, widać w historii repozytorium infrastruktury (git log --since="6 hours ago") i w historii synchronizacji w Argo CD (argocd app history <aplikacja>). Jeśli rewizja sprzed kilku minut poprzedza pierwsze zgłoszenie, hipoteza jest gotowa.

Najpierw wycofanie, potem szukanie przyczyny

Jeśli w oknie przed awarią była zmiana, jej wycofanie jest pierwszym działaniem, a nie ostatnią deską ratunku. Przywrócenie usługi jest celem pierwszej godziny; zrozumienie przyczyny jest celem przeglądu po awarii.

ZmianaWycofanieUwagi
Wdrożenie przez GitOpsgit revert <commit> i synchronizacjahistoria w repozytorium pozostaje kompletna
Aktualizacja Windowswusa /uninstall /kb:<numer>pakiety łączone z aktualizacją stosu obsługi usuwa się przez DISM /Online /Remove-Package
Zmiana w zasadach grupyRestore-GPO z kopii albo wyłączenie łącza GPOstacje widzą zmianę po odświeżeniu zasad
Zmiana na maszynie z checkpointemprzywrócenie checkpointuutrata zapisów od chwili utworzenia checkpointu
Reguła zapory, rekord DNSprzywrócenie poprzedniej wartościwymaga zapisanej poprzedniej wartości

W modelu GitOps wycofaniem jest revert w repozytorium. argocd app rollback nie może być wykonane dla aplikacji z włączoną automatyczną synchronizacją i zostawia aplikację niezgodną z repozytorium, więc nadaje się na sytuację bez dostępu do repozytorium. Po nim revert w repozytorium jest obowiązkowy: kolejna synchronizacja, ręczna albo po ponownym włączeniu automatycznej, wdroży wadliwą wersję jeszcze raz. Wyjątki od zasady „najpierw wycofanie” to zmiany nieodwracalne (migracja schematu bazy, dane już przetworzone przez nową wersję) i sytuacje, w których wycofanie jest bardziej ryzykowne niż awaria; decyzję podejmuje wtedy prowadzący i zapisuje ją w notatkach.

Notatki i eskalacja

Prowadzący zapisuje każde ustalenie i każde działanie z godziną i inicjałami osoby. Notatki służą komunikatom, przekazaniu prowadzenia i przeglądowi po awarii; przy takim prowadzeniu hipoteza z ostatniego wdrożenia pojawia się po kilkunastu minutach zamiast po kilkudziesięciu. Progi eskalacji ustala się przed awarią, żeby w jej trakcie nie dyskutować, czy „już pora”.

SytuacjaDo kogoKiedy
Brak hipotezy po 30 minutachdruga osoba z zespołu, dostawca systemupo upływie progu
Awaria usługi dostawcy lub chmuryzgłoszenie u dostawcy z najwyższym priorytetem, równolegle z diagnoząw pierwszych 15 minutach
Podejrzenie incydentu bezpieczeństwa: szyfrowanie plików, nieznane konta, nietypowe logowaniakierownictwo i procedura reagowania na incydenty; maszyny odłączać od sieci, nie wyłączaćnatychmiast
Możliwe naruszenie ochrony danych osobowychinspektor ochrony danych (doradza) i administrator danych (decyduje o zgłoszeniu do organu nadzorczego)natychmiast
Czas awarii przekracza RTO systemukierownictwo, decyzja o trybie awaryjnympo przekroczeniu RTO

Zgłoszenie do organu nadzorczego następuje bez zbędnej zwłoki, w miarę możliwości w ciągu 72 godzin od stwierdzenia naruszenia, i dotyczy naruszeń, które mogą powodować ryzyko naruszenia praw lub wolności osób (art. 33 RODO). Podmioty objęte dyrektywą NIS2 mają własne, odrębne terminy zgłaszania incydentów.

Krótki przegląd po awarii

W ciągu kilku dni roboczych zespół spotyka się na 30–45 minut. Celem nie jest znalezienie winnego, tylko ustalenie, co sprawiło, że awaria trwała tyle, ile trwała, i co skróci następną. Zapis przeglądu obejmuje: awarię (system, data, od–do, czas łączny), wpływ (kogo dotyczyła, co nie działało, czy były straty danych), oś czasu z notatek (wykrycie, ogłoszenie, komunikat, hipoteza, wycofanie, potwierdzenie), przyczynę (bezpośrednią i tę, która na nią pozwoliła), to, co zadziałało i co nie zadziałało, oraz zadania z odpowiedzialnym i terminem. Zadania trafiają do zwykłej listy zadań zespołu. Przegląd bez zadań jest tylko rozmową.

Decyzje i alternatywy

PodejścieKiedy ma sensOgraniczenie
Blokada obiektów w trybie compliance (S3 Object Lock, niezmienna pamięć blob po zablokowaniu retencji)kopia odporna na usunięcie przez administratora kontatryb GOVERNANCE można pominąć uprawnieniem; blokada zatrzymuje także migawki, które powinny wygasnąć
Repozytorium kopii poza domeną z osobnymi poświadczeniamibrak magazynu z blokadą obiektówochrona zależy od izolacji poświadczeń i dostępu sieciowego
Migawka etcd (k3s etcd-snapshot)uszkodzony stan API klastra z wbudowanym etcdzastępuje stan całego klastra; bezużyteczna bez tokenu serwera; SQLite w pojedynczym serwerze wymaga kopii katalogu
Velero z kopią plików wolumenówodtworzenie przestrzeni nazw, także pod inną nazwą lub w innym klastrzekopia plików działającej bazy nie gwarantuje spójności
Zrzut logiczny bazy (CronJob lub hak Velero)bazy danychwymaga magazynu poza klastrem i własnej częstości według RPO
Migawka CSI bez przeniesienia danychszybkie cofnięcie błędu w aplikacjizostaje w tym samym magazynie co oryginał, nie chroni przed jego awarią
git revert i synchronizacjawycofanie wdrożenia GitOpswymaga dostępu do repozytorium
argocd app rollbackbrak dostępu do repozytoriumniedostępne przy automatycznej synchronizacji; zostawia aplikację niezgodną z repozytorium
Wycofanie zmiany przed diagnoząw oknie przed awarią była zmianazmiany nieodwracalne i wycofanie ryzykowniejsze niż awaria wymagają decyzji prowadzącego

Wdrożenie

  1. Spisanie RPO i RTO każdego systemu z jego właścicielem. Kontrola: częstość kopii wynika z RPO, a sposób odtwarzania (kopia lokalna lub zdalna) z RTO.
  2. Zapewnienie kopii poza zasięgiem produkcji (3-2-1-1-0): blokada obiektów albo repozytorium poza domeną, klucze i hasła w sejfie poza domeną, dokumentacja kolejności odtwarzania. Kontrola: konto administratora domeny nie ma prawa usunięcia kopii.
  3. W k3s: harmonogram migawek etcd z wysyłką do S3 na każdym serwerze i restart usługi, kopia tokenu serwera, klucza do sekretów i klucza urzędu CA w sejfie poza klastrem. Kontrola: sudo k3s etcd-snapshot ls pokazuje najnowszą migawkę nie starszą niż interwał harmonogramu oraz pozycje z lokalizacją s3://; same pozycje file:// oznaczają, że wszystkie migawki leżą na tym samym węźle.
  4. Harmonogramy Velero dla przestrzeni nazw z wolumenami, zrzuty logiczne baz według RPO i lustro repozytorium Git na innej maszynie.
  5. Protokół testu odtworzenia z częstością i wykonawcami oraz alert na wiek ostatniej udanej kopii z progami z tabeli. Kontrola: wyłączenie harmonogramu na próbnym systemie wywołuje alert w ciągu progu ostrzegawczego.
  6. Pierwszy test odtworzenia klastra do osobnego klastra w odizolowanej sieci; lista braków staje się listą zadań, a test powtarza się co kwartał.
  7. Procedura awarii: szablon komunikatu, lista odbiorców z kanałem zapasowym, progi eskalacji i szablon przeglądu ustalone przed pierwszą awarią.

Ograniczenia i pułapki

  • Klucze i uprawnienia wspólne z produkcją. Kopia zaszyfrowana kluczem przechowywanym wyłącznie na serwerze kopii lub w domenie ginie razem z domeną, a ransomware z uprawnieniami administratora domeny usuwa kopie, do których dotrze. Klucze i hasła do systemu kopii leżą poza domeną, a repozytorium ma osobne poświadczenia.
  • Migawka etcd bez tokenu serwera. Token szyfruje poufne dane w magazynie danych klastra, więc migawka bez tokenu z chwili jej wykonania jest bezużyteczna. Token (/var/lib/rancher/k3s/server/token) trafia do sejfu poza klastrem, z opisem, którego klastra dotyczy.
  • Klaster testowy zachowuje się jak produkcja. Klaster odtworzony z migawki lub kopii Velero uruchamia CronJoby, łączy się z zewnętrznymi systemami, wysyła pocztę i zapisuje do baz, do których ma dostęp; test bez izolacji sieciowej może wysłać klientom zdublowane faktury. Sieć testowa nie ma dostępu do systemów produkcyjnych.
  • Przywracanie z kopii przy podejrzeniu ataku. Odtworzenie środowiska niszczy ślady i może przywrócić je razem z dostępem atakującego. Incydent bezpieczeństwa przestaje być zwykłą awarią w chwili podejrzenia i od tej chwili obowiązuje odrębna procedura reagowania.

Źródła