Ground truth (odpowiedzi wzorcowe)
Znane poprawne odpowiedzi albo etykiety, z którymi w ewaluacji porównuje się wynik modelu.
W klasyfikacji to właściwa etykieta; w RAG to odpowiedź wzorcowa i dokumenty, które ją zawierają. Bez niej nie da się policzyć metryk takich jak czułość czy context recall. Zwykle tworzą ją ludzie znający dziedzinę, przez co jest najdroższą częścią ewaluacji, i sama bywa błędna albo nieaktualna. Zestaw testowy to ground truth spakowane razem z wejściami do wielokrotnego uruchamiania.
Powiązane hasła
- Zestaw testowy (golden dataset): Stały zestaw prawdziwych wejść z oczekiwanymi odpowiedziami albo warunkami, którym testujesz funkcję AI po każdej zmianie promptu albo modelu.
- Ewaluacje (evals): Powtarzalny zestaw testów, który ocenia funkcję AI, żeby zmiany mierzyć, a nie zgadywać.
- Context recall (pokrycie kontekstu): Metryka wyszukiwania w RAG: jaka część informacji potrzebnych do poprawnej odpowiedzi została faktycznie znaleziona.
- Ocena przez człowieka (human evaluation): Ludzie, najlepiej eksperci dziedzinowi, oceniający wyniki AI według spisanej rubryki; punkt odniesienia, z którym sprawdza się metryki automatyczne.
