LLM jako sędzia (LLM-as-judge)
Użycie modelu z rubryką do oceny wyniku innego modelu.
Przydatne tam, gdzie dokładne porównanie jest niemożliwe: ton, wierność źródłu, czy odpowiedź pokrywa pytanie. Sędzia potrzebuje precyzyjnej rubryki i własnej kontroli: sędzia, który zgadza się ze wszystkim, niczego nie mierzy.
Powiązane hasła
- Ewaluacje (evals): Powtarzalny zestaw testów, który ocenia funkcję AI, żeby zmiany mierzyć, a nie zgadywać.
