Ewaluacje (evals)
Powtarzalny zestaw testów, który ocenia funkcję AI, żeby zmiany mierzyć, a nie zgadywać.
Ewaluacja to zestaw wejść ze sposobem oceny wyników: dokładnym porównaniem, kodem albo modelem w roli sędziego. Uruchamiasz ją przed zmianą promptu, modelu czy narzędzia i porównujesz. Bez ewaluacji każda zmiana modelu to skok na wiarę.
Powiązane hasła
- LLM jako sędzia (LLM-as-judge): Użycie modelu z rubryką do oceny wyniku innego modelu.
- Halucynacje: Płynna, pewna siebie odpowiedź, która jest nieprawdziwa albo nie wynika ze źródeł.
- Routing i fallback modeli: Kierowanie każdego zapytania do modelu, który do niego pasuje, i do innego, gdy pierwszy zawiedzie.
