Ocena przez człowieka (human evaluation)
Ludzie, najlepiej eksperci dziedzinowi, oceniający wyniki AI według spisanej rubryki; punkt odniesienia, z którym sprawdza się metryki automatyczne.
Automatyczne wyniki są warte tyle, ile ich zgodność z oceną człowieka, więc próbka oceniona przez ludzi służy do kalibracji LLM jako sędziego. Wiarygodność dają dwie rzeczy: rubryka na tyle konkretna, że różni oceniający dochodzą do tego samego werdyktu, oraz pomiar tej zgodności (inter-annotator agreement). Gdy oceniający często się różnią, rubryka jest niejasna i żadna oparta na niej metryka nie będzie stabilna.
Powiązane hasła
- LLM jako sędzia (LLM-as-judge): Użycie modelu z rubryką do oceny wyniku innego modelu.
- Ground truth (odpowiedzi wzorcowe): Znane poprawne odpowiedzi albo etykiety, z którymi w ewaluacji porównuje się wynik modelu.
- Ewaluacje (evals): Powtarzalny zestaw testów, który ocenia funkcję AI, żeby zmiany mierzyć, a nie zgadywać.
- Człowiek w pętli (human in the loop): Człowiek zatwierdza, poprawia albo odrzuca akcję agenta, zanim zacznie działać.
