Obserwowalność LLM
Śledzenie każdego wywołania modelu: wejście, wyjście, czas, tokeny, koszt i wynik dla użytkownika.
Logi i ślady pokazują, co agent faktycznie zrobił, krok po kroku, i ile to kosztowało. Połączone z analityką produktu pokazują, czy funkcja pomaga użytkownikom, czy tylko działa. Zasady prywatności decydują, jaką treść wolno przechowywać.
Powiązane hasła
- Ewaluacje (evals): Powtarzalny zestaw testów, który ocenia funkcję AI, żeby zmiany mierzyć, a nie zgadywać.
- Tokeny: Kawałki tekstu, które model czyta i pisze, i jednostka, za którą płacisz.
- AI gateway: Pośrednik między aplikacją a dostawcami modeli, który dodaje logi, cache, limity, rozliczenia i fallbacki.
