Ewaluacje trajektorii
Testy, które oceniają całą drogę agenta do odpowiedzi: jakie narzędzia wywołał, w jakiej kolejności, w ilu krokach i za ile; sam wynik końcowy to za mało.
Dwóch agentów może dojść do tej samej poprawnej odpowiedzi, a jeden po drodze zajrzy do danych klienta bez powodu i zrobi pięć razy więcej kroków. Ewaluacje samej odpowiedzi tego nie widzą. Ewaluacja trajektorii sprawdza zapis przebiegu z oczekiwaniami: wymagane i zakazane wywołania narzędzi, limity kroków i kosztu, czasem LLM jako sędzia dla rozumowania. Ślady pochodzą z tej samej obserwowalności, której używasz na produkcji.
Powiązane hasła
- Ewaluacje (evals): Powtarzalny zestaw testów, który ocenia funkcję AI, żeby zmiany mierzyć, a nie zgadywać.
- LLM jako sędzia (LLM-as-judge): Użycie modelu z rubryką do oceny wyniku innego modelu.
- Zestaw testowy (golden dataset): Stały zestaw prawdziwych wejść z oczekiwanymi odpowiedziami albo warunkami, którym testujesz funkcję AI po każdej zmianie promptu albo modelu.
- Obserwowalność LLM: Śledzenie każdego wywołania modelu: wejście, wyjście, czas, tokeny, koszt i wynik dla użytkownika.
- Koszt zadania (ekonomia agentów): Ile naprawdę kosztuje jedno skończone zadanie agenta: tokeny, ponowienia, wywołania narzędzi i czas człowieka na przegląd, w porównaniu z innym sposobem.
