Obserwowalność (o11y)
Możliwość ustalenia, co robi działający system i dlaczego, na podstawie danych, które wysyła: logów, metryk i śladów.
Monitoring odpowiada na pytania zaplanowane z góry: czy serwer działa, czy błędów jest powyżej progu. Obserwowalność pozwala w trakcie awarii zadać nowe pytanie, np. których klientów i którego wydania dotyczy wolne zapytanie. Logi, metryki i ślady (traces) to zwykły surowiec; liczy się to, czy da się je połączyć z jednym zapytaniem, jednym użytkownikiem i jednym wdrożeniem. Dla funkcji AI to samo nazywa się obserwowalnością LLM.
Powiązane hasła
- OpenTelemetry (OTel): Otwarty, niezależny od dostawców standard i zestaw SDK do wytwarzania i wysyłania śladów, metryk i logów.
- SLO i SLI: SLI to mierzony wskaźnik jakości usługi; SLO to wewnętrzny cel dla niego, ostrzejszy niż podpisane SLA.
- Obserwowalność LLM: Śledzenie każdego wywołania modelu: wejście, wyjście, czas, tokeny, koszt i wynik dla użytkownika.
- Runbook (instrukcja systemu): Krótki dokument, który mówi komuś innemu, jak prowadzić system: gdzie działa, jak wdrażać, jak go podnieść.
