Monitoring i dzienniki zdarzeń
Wybór metryk i konstrukcja alertów wymagających działania oraz strategia dzienników zdarzeń Windows: które zdarzenia zbierać, jak je filtrować i przetwarzać oraz jak długo przechowywać.
Metryki zbierane bez pytania, na które mają odpowiadać, i alerty ustawiane bez pytania, co ma zrobić osoba, która je dostanie, kończą się wyciszonym kanałem powiadomień, w którym ginie alert o zapełniającym się dysku bazy. Centralny system logów uruchomiony według zasady „zbieramy wszystko” zamienia się w kosztowny magazyn szumu, a szukanego zdarzenia często w ogóle brakuje, bo system go nie wygenerował. Dokument opisuje mały zestaw sygnałów i zasady konstrukcji alertów oraz strategię dla dzienników zdarzeń: cel strumienia, wybór zdarzeń Windows, filtrowanie, formę, retencję i odbiorcę.
Metryki: cztery sygnały i trzy pytania
Dla usługi widocznej dla użytkowników wystarczą cztery sygnały: opóźnienie, ruch, błędy i nasycenie (złote sygnały z książki Google o inżynierii niezawodności). Dla każdego zasobu wystarczą trzy pytania z metody USE Brendana Gregga: wykorzystanie, nasycenie, błędy.
Dla usługi mierzy się opóźnienie (percentyl czasu odpowiedzi), ruch, odsetek błędów i nasycenie najwęższego zasobu, np. puli połączeń do bazy. Dla zasobu, np. procesora, dysku lub interfejsu sieciowego, mierzy się wykorzystanie, nasycenie (kolejkę) i błędy.
Opóźnienie mierzy się percentylem, nie średnią: średnia 300 ms może ukrywać, że co dwudziesty użytkownik czeka pięć sekund. Wykorzystanie na poziomie 100% nie jest problemem przy zerowym nasyceniu, a nasycenie przy niskim średnim wykorzystaniu bywa skutkiem krótkich pików ukrytych w średniej albo błędnej konfiguracji, np. zbyt małej puli połączeń. W środowisku Windows dochodzą opóźnienie i błędy replikacji między kontrolerami, nieudane uwierzytelnienia w czasie, rozbieżność zegarów i wiek ostatniej udanej kopii każdego systemu.
Alerty
Poziomy i działanie
Każdy alert odpowiada na pytanie, co ma zrobić osoba, która go dostanie. „Nic, tylko wiedzieć” oznacza informację na pulpit, a „sprawdzić, czy to coś poważnego” oznacza alert zbyt szeroki.
Alarmuje się na objawy widoczne dla użytkowników, nie na przyczyny: odsetek błędów i czas odpowiedzi wychwytują każdą przyczynę, także nieprzewidzianą. CPU na 90% przy normalnym czasie odpowiedzi nie jest powodem do budzenia; metryki zasobów służą do diagnozy po alercie na objaw. Wyjątkiem są zasoby, których wyczerpanie jest nieodwracalne albo wolne w naprawie: miejsce na dysku, certyfikaty, licencje, kworum klastra i wiek kopii zapasowej. Alert na przyczynę jest tam właściwy, bo objaw pojawiłby się za późno.
| Poziom | Kiedy | Kanał | Reakcja | Przykład |
|---|---|---|---|---|
| Budzi | usługa nie działa dla użytkowników albo zaraz przestanie | telefon lub aplikacja dyżurna, o każdej porze | minuty | odsetek błędów 5xx powyżej 5% przez 10 minut |
| Zgłoszenie | wymaga uwagi w ciągu dnia roboczego | zgłoszenie w systemie ITSM | ten sam lub następny dzień roboczy | dysk zapełni się w ciągu 7 dni |
| Tylko pulpit | trend, kontekst, ostrzeżenie | pulpit, raport tygodniowy | brak powiadomienia | CPU powyżej 90% przez 15 minut |
Alert bez przypisanego poziomu trafia na najniższy. Alertów poziomu „budzi” powinno być kilka w miesiącu, nie kilka dziennie.
Próg z czasem trwania w Zabbix
Okrągła liczba nie jest progiem; wynika on z historii. Jeśli dysk zapełnia się o 1% tygodniowo, alert przy 80% daje miesiące zapasu, a przy 5% dziennie jest już za późno. Każdy alert ma też warunek czasu: chwilowy skok CPU podczas kopii zapasowej nie jest incydentem, 15 minut powyżej progu już tak. Poniższe wyzwalacze używają składni wprowadzonej w Zabbix 5.4, obowiązującej w 6.0 LTS i nowszych.
# CPU powyżej 90% przez całe 15 minut (każda wartość z okresu); poziom: tylko pulpit
# Klucz system.cpu.util bez parametrów liczy na Linuksie tylko czas user, więc obciążenie wynika z czasu idle
100-max(/srv-app-01/system.cpu.util[,idle],15m)>90
# Scenariusz WWW „Portal” kończy się błędem przez 5 minut
min(/srv-web-01/web.test.fail[Portal],5m)>0
# Przy tempie z ostatniej doby /var osiągnie 95% w ciągu 7 dni
timeleft(/srv-app-01/vfs.fs.size[/var,pused],24h,95)<7d
Pierwszy wyzwalacz, oparty na przyczynie, służy do diagnozy. Drugi opisuje objaw i ma poziom „budzi” albo „zgłoszenie”, zależnie od usługi. Trzeci to zawsze „zgłoszenie”: daje tydzień na reakcję w godzinach pracy. Żeby problem nie przełączał się na granicy progu, wyzwalacz dostaje wyrażenie powrotu (Recovery expression), np. 100-min(/srv-app-01/system.cpu.util[,idle],10m)<80.
W Prometheus odpowiada temu pole for: w regule alertu, a trasę w Alertmanagerze wybiera dopasowanie etykiet alertu (np. severity, ustawianej w regule, a nie wbudowanej).
Grupowanie, okna serwisowe i eskalacja
Awaria jednego przełącznika generuje sto alertów o niedostępności hostów za nim, a dyżurny potrzebuje jednego. W Zabbix służą do tego zależności wyzwalaczy, w Alertmanagerze group_by i inhibit_rules. Planowane prace wymagają okresu konserwacji w Zabbix albo wyciszenia w Alertmanagerze, założonego przed restartem, z numerem zgłoszenia w komentarzu. Alert poziomu „budzi” bez potwierdzenia w ustalonym czasie (np. 15 minut) trafia do następnej osoby; reguła eskalacji jest zapisana, żeby nikt o trzeciej w nocy nie zastanawiał się, kogo obudzić.
Instrukcja postępowania
Alert bez instrukcji jest testem wiedzy dyżurnego w najgorszych warunkach. Instrukcja jest krótka i ma stałą strukturę, złożoną z pięciu pól:
- znaczenie: co oznacza alert, np. ponad 5% odpowiedzi portalu kończy się błędem 5xx od 10 minut,
- wpływ: kogo i na co dotyka, np. część użytkowników nie może się zalogować ani zapisać danych,
- kroki sprawdzenia: który endpoint zwraca błędy (pulpit usługi), jakie wyjątki i przekroczenia czasu bazy są w logu aplikacji z ostatnich 15 minut, czy w ostatniej godzinie było wdrożenie,
- obejście: wycofanie ostatniego wdrożenia albo restart puli aplikacji,
- eskalacja: właściciel aplikacji, jeśli po 30 minutach nie ma poprawy.
Odnośnik do instrukcji jest częścią alertu: w Prometheus adnotacja (zwykle runbook_url), w Zabbix pole URL wyzwalacza.
Dzienniki zdarzeń
Cel strumienia
Każdy strumień logów służy jednemu z trzech celów:
- Bezpieczeństwo i audyt: logowania, zmiany uprawnień i grup, tworzenie kont. Zdarzenia kompletne, odporne na modyfikację i przechowywane długo.
- Diagnostyka: błędy aplikacji i usług. Potrzebne szybko po problemie, rzadko po miesiącu.
- Metryki z logów: liczba żądań i błędów na minutę. Po policzeniu zostają liczniki, zdarzenia można usunąć.
Strumień bez celu nie trafia do centrali; zostaje lokalnie z krótką rotacją.
Kluczowe zdarzenia Windows
Cały dziennik Security kilku kontrolerów domeny to zwykle znaczna część wolumenu wszystkich logów. Zamiast niego zbiera się identyfikatory odpowiadające na konkretne pytania:
| ID | Zdarzenie | Dlaczego zbierać |
|---|---|---|
| 4624 | udane logowanie | kto, skąd i jak; LogonType odróżnia interaktywne (2), sieciowe (3) i RDP (10) |
| 4625 | nieudane logowanie | zgadywanie haseł, stare hasła zapisane w usługach i zadaniach |
| 4740 | konto zablokowane | źródło blokady w polu Caller Computer Name |
| 4720 | utworzono konto | konta zakładane poza ustalonym procesem |
| 4728, 4732, 4756 | dodano członka do grupy globalnej, lokalnej, uniwersalnej | zmiany w grupach uprzywilejowanych |
| 4672 | logowanie z uprawnieniami specjalnymi | użycie kont administracyjnych (tylko dla ich listy) |
| 1102 | wyczyszczono dziennik inspekcji | próba zatarcia śladów |
| 7045 | zainstalowano usługę (dziennik System) | trwałość złośliwego oprogramowania, narzędzia zdalnego wykonywania poleceń |
Lista jest minimum. Usunięcia z grup (4729, 4733, 4757) i zadania harmonogramu (4698) mają niski wolumen; tworzenie procesów (4688) ma wolumen od średniego do wysokiego i wymaga decyzji.
Zdarzenia 4624 i 4672 na kontrolerach mają według Microsoftu średni wolumen, głównie przez konta komputerów i logowania sieciowe. Zbiera się je z filtrem: 4624 tylko dla RDP (LogonType 10) albo kont z listy administracyjnej, 4672 tylko dla kont z tej listy.
W zdarzeniu 4625 przyczynę podają Status i SubStatus: 0xC000006A to błędne hasło, 0xC0000064 nieistniejący użytkownik, 0xC0000072 konto wyłączone, 0xC0000234 konto zablokowane; przy ogólnym statusie 0xC000006D szczegół jest w SubStatus. Zdarzenie 4740 powstaje na kontrolerach domeny, serwerach członkowskich i stacjach roboczych. Kontrolery przekazują uwierzytelnienia z błędnym hasłem do PDC Emulator, więc blokad szuka się na kontrolerze, który obsłużył logowanie, i na PDC Emulator.
Zasady inspekcji, rozmiar dziennika i filtrowanie
Zdarzenia z dziennika Security pojawiają się tylko przy włączonej podkategorii zaawansowanych zasad inspekcji: Logon, Special Logon, User Account Management, Security Group Management; zdarzenia 4698 wymagają dodatkowo Other Object Access Events, a 4688 Process Creation. „No Auditing” oznacza brak zdarzeń niezależnie od agenta. Zasady wdraża GPO (Computer Configuration → Policies → Windows Settings → Security Settings → Advanced Audit Policy Configuration), a w Security Options włączone „Audit: Force audit policy subcategory settings…” chroni je przed nadpisaniem przez starsze zasady kategorii.
Stan podkategorii pokazuje auditpol /get /category:* (wymaga prawa „Manage auditing and security log”, np. konta administratora). Przy Logon i User Account Management powinno być „Success and Failure”, a przy Special Logon i Security Group Management wystarczy „Success”, bo te podkategorie nie mają zdarzeń Failure. Samo „Success” przy Logon oznacza brak zdarzeń 4625. Na zlokalizowanym systemie nazwy podkategorii są przetłumaczone.
Lokalny dziennik jest buforem na czas awarii centrali lub łącza. Jeśli mieści kilka godzin, weekendowa przerwa oznacza utratę zdarzeń; rozmiar ustawia GPO „Specify the maximum log file size (KB)” w Event Log Service → Security. Na kontrolerach zwykle potrzeba 1 GB lub więcej, tak żeby dziennik obejmował kilka dni.
Filtrować trzeba przy źródle: agenty Windows i subskrypcje Windows Event Forwarding przyjmują zapytanie XPath, które można najpierw przetestować lokalnie (adm-nowak to przykładowe konto administracyjne).
$filter = @'
<QueryList>
<Query Id="0" Path="Security">
<Select Path="Security">*[System[(EventID=4625 or EventID=4740 or EventID=4720 or EventID=4728 or EventID=4732 or EventID=4756 or EventID=1102)]]</Select>
<Select Path="Security">*[System[(EventID=4624)]] and *[EventData[Data[@Name='LogonType']='10' or Data[@Name='TargetUserName']='adm-nowak']]</Select>
<Select Path="Security">*[System[(EventID=4672)]] and *[EventData[Data[@Name='SubjectUserName']='adm-nowak']]</Select>
</Query>
<Query Id="1" Path="System">
<Select Path="System">*[System[(EventID=7045)]]</Select>
</Query>
</QueryList>
'@
Get-WinEvent -FilterXml $filter -MaxEvents 20 |
Select-Object TimeCreated, Id, MachineName
Wysyłanie wszystkiego i odrzucanie w centrali marnuje łącze i moc, a przy jej przeciążeniu ważne zdarzenia czekają w tej samej kolejce co szum.
Forma: pola zamiast tekstu
Log jako wolny tekst łatwo wysłać i trudno przeszukać. Agent wysyła zdarzenie z polami (EventID, TargetUserName, IpAddress, LogonType), a w centrali każde jest atrybutem, po którym da się filtrować, liczyć i alarmować bez wyrażeń regularnych. W Graylogu dalsze przetwarzanie wykonują reguły potoku, dodane do etapu potoku podłączonego do strumienia z logami Windows. Nazwy pól zależą od wejścia i agenta, więc przed napisaniem reguły trzeba obejrzeć jedno zdarzenie w wyszukiwarce.
rule "AD: dodanie do grupy uprzywilejowanej"
when
has_field("EventID") AND
(to_long($message.EventID) == 4728 OR
to_long($message.EventID) == 4732 OR
to_long($message.EventID) == 4756) AND
contains(to_string($message.TargetUserName), "Admin", true)
then
set_field("alert_category", "privileged_group_change");
route_to_stream(name: "Bezpieczeństwo - krytyczne");
end
W tych zdarzeniach TargetUserName zawiera nazwę grupy, a MemberName dodawanego członka. Warunek na fragment nazwy jest uproszczeniem; grupy chronione lepiej trzymać w tabeli odnośników (lookup table).
Retencja według kategorii
Retencja to koszt rosnący liniowo z czasem i objętością, a kategorie potrzebują różnych okresów:
| Kategoria | Przykłady | Retencja w centrali | Uzasadnienie |
|---|---|---|---|
| Bezpieczeństwo i audyt | 4624 (po filtrze), 4625, 4740, 4720, 4728/4732/4756, 4672, 1102, 7045 | 365 dni lub zgodnie z wymaganiami | dochodzenia i audyty sięgają miesięcy wstecz |
| Systemowe i aplikacyjne | błędy usług, logi aplikacji | 30 dni | diagnoza i porównanie z poprzednim miesiącem |
| Diagnostyczne o dużym wolumenie | logi debug, logi dostępu proxy | 7 dni albo tylko lokalnie | potrzebne zaraz po incydencie |
| Metryki z logów | liczba żądań i błędów na minutę | zdarzenia kilka dni, liczniki rok | zostaje liczba, nie zdarzenie |
W Graylogu każdej kategorii odpowiada osobny strumień zapisujący do własnego zestawu indeksów z własną rotacją (np. 365 indeksów dziennych dla bezpieczeństwa, 30 dla aplikacji).
Odbiorca zdarzeń
Log, na który nikt nie patrzy, ma wartość tylko retrospektywną. Dla bezpieczeństwa wystarczy kilka reguł: 1102 na dowolnym serwerze zawsze, 4728/4732/4756 dla grup uprzywilejowanych poza oknem zmian, 4740 np. ponad 5 razy dla jednego konta w godzinę (zwykle stare hasło zapisane w usłudze lub telefonie), 4625 np. ponad 20 z jednego adresu w 10 minut oraz każde 7045 na kontrolerze domeny. Poziomy i kanały powiadomień wynikają z tabeli w sekcji o alertach.
Decyzje i alternatywy
| Podejście | Kiedy ma sens | Ograniczenie |
|---|---|---|
| Alert na objaw (odsetek błędów, czas odpowiedzi) | usługi widoczne dla użytkowników; wychwytuje także nieprzewidziane przyczyny | wymaga zdefiniowanego objawu i pomiaru po stronie użytkownika |
| Alert na przyczynę | zasoby nieodwracalne lub wolne w naprawie: dysk, certyfikaty, licencje, kworum, wiek kopii | dla zasobów elastycznych daje szum (CPU 90% przy normalnym czasie odpowiedzi) |
| Filtr zdarzeń przy źródle (XPath, Windows Event Forwarding) | dziennik Security kontrolerów domeny i serwerów | lista identyfikatorów i kont wymaga utrzymania |
| Wysyłanie wszystkiego i filtr w centrali | niski wolumen, brak możliwości filtrowania w agencie | marnuje łącze i moc; przy przeciążeniu ważne zdarzenia czekają w kolejce razem z szumem |
| Osobny strumień i zestaw indeksów dla każdej kategorii | różne okresy retencji dla audytu i diagnostyki | więcej obiektów do utrzymania |
| Jeden wspólny zestaw indeksów | pojedyncza, jednolita retencja | rok przechowywania szumu albo utrata zdarzeń audytowych po miesiącu |
| Wejście TCP, najlepiej z TLS, albo protokół z potwierdzeniami | zdarzenia bezpieczeństwa | większa złożoność niż UDP |
| Wejście UDP | wyłącznie dane o niskiej wartości | gubi zdarzenia przy przeciążeniu lub restarcie odbiorcy, bez sygnału o utracie |
Wdrożenie
- Przypisanie celu każdemu strumieniowi logów; strumienie bez celu zostają lokalnie z krótką rotacją.
- Wybór metryk: cztery sygnały dla każdej usługi widocznej dla użytkowników, trzy pytania dla zasobów. Kontrola: każda zbierana metryka ma pytanie, na które odpowiada, albo trafia na pulpit.
- Włączenie podkategorii zaawansowanych zasad inspekcji przez GPO wraz z „Audit: Force audit policy subcategory settings…” i ustawienie rozmiaru dziennika Security tak, aby obejmował kilka dni (na kontrolerach zwykle 1 GB lub więcej). Kontrola:
auditpol /get /category:*pokazuje wymagane wartości, a zdarzenie 4625 pojawia się na kontrolerze w ciągu doby. - Zapytanie XPath przetestowane lokalnie przez
Get-WinEvent -FilterXml, potem wdrożone w agencie albo subskrypcji Windows Event Forwarding. Kontrola: wolumen zdarzeń Security z kontrolera po filtrze jest wielokrotnie mniejszy niż cały dziennik. - Wejście TCP, najlepiej z TLS, pola zamiast tekstu, reguły potoku, osobne strumienie i zestawy indeksów z retencją według kategorii. Kontrola: pojedyncze zdarzenie ma pola, po których da się filtrować, i trafia do właściwego strumienia.
- Alerty: poziom dla każdego alertu, próg z czasem trwania i wyrażeniem powrotu, zależności wyzwalaczy lub
group_byiinhibit_rules, okna serwisowe, reguła eskalacji i odnośnik do instrukcji postępowania. Kontrola: alertów poziomu „budzi” jest kilka w miesiącu, a każdy ma instrukcję. - Reguły dla zdarzeń bezpieczeństwa wymienione w sekcji „Odbiorca zdarzeń”, z kanałem powiadomień zgodnym z poziomem.
Ograniczenia i pułapki
- Średnia zamiast minimum w wyzwalaczu.
100-avg(/srv-app-01/system.cpu.util[,idle],15m)>90nie oznacza „powyżej 90% przez 15 minut”: średnia przekroczy próg, gdy CPU przez pięć minut jest na 100%, a przez dziesięć na 88%, i nie przekroczy go przy godzinie ciągłej pracy na 89%. „Cały czas powyżej” zapisuje się jakomin(…)>X, „cały czas poniżej” jakomax(…)<X. - UDP dla zdarzeń bezpieczeństwa. Przy przeciążeniu lub restarcie odbiorcy zdarzenia giną bez sygnału o utracie. Dla zdarzeń bezpieczeństwa używa się wejścia TCP, najlepiej z TLS, albo protokołu z potwierdzeniami.
- Niepełna inspekcja zamiast braku zdarzeń. Brak zdarzeń 4625 przez całą dobę na kontrolerze zwykle oznacza niepełną inspekcję (np. Logon tylko z „Success”), a nie brak błędnych haseł; to samo dotyczy „No Auditing”. Kontrola
auditpolpoprzedza budowę reguł alertów. - Podwójny zapis zdarzeń w Graylogu. Strumień kategorii, który nie usuwa dopasowanych wiadomości ze strumienia domyślnego, zapisuje każde zdarzenie dwa razy. Opcja usuwania ze strumienia domyślnego jest włączona dla każdego strumienia kategorii.