Zestaw testowy (golden dataset)
Stały zestaw prawdziwych wejść z oczekiwanymi odpowiedziami albo warunkami, którym testujesz funkcję AI po każdej zmianie promptu albo modelu.
Przypadki pochodzą z prawdziwego ruchu i z błędów, które już się zdarzyły, także spoza ścieżki, na której wszystko działa, a każdy mówi, co dobra odpowiedź musi zawierać albo czego unikać. Zestaw jest ten sam przy każdym uruchomieniu, więc spadek wyniku wskazuje na zmianę, którą właśnie zrobiłeś. Rośnie z czasem: każdy błąd zgłoszony przez użytkownika staje się nowym przypadkiem.
Powiązane hasła
- Ewaluacje (evals): Powtarzalny zestaw testów, który ocenia funkcję AI, żeby zmiany mierzyć, a nie zgadywać.
- Regresja promptu: Odpowiedź, która była dobra, psuje się po zmianie promptu albo modelu.
- LLM jako sędzia (LLM-as-judge): Użycie modelu z rubryką do oceny wyniku innego modelu.
