Regresja promptu
Odpowiedź, która była dobra, psuje się po zmianie promptu albo modelu.
Prompt poprawia się, żeby naprawić jedną odpowiedź, a po cichu zmieniają się inne: reguła ginie przy przepisywaniu, „odpowiadaj krócej” wycina wymagany szczegół, tańszy model pomija krok. Odpowiedzi modelu różnią się między uruchomieniami, więc jedna nieudana próba niczego nie dowodzi: uruchom każdy przypadek kilka razy, a przypadek, który czasem przechodzi, traktuj jako niestabilny, nie zepsuty.
Powiązane hasła
- Ewaluacje (evals): Powtarzalny zestaw testów, który ocenia funkcję AI, żeby zmiany mierzyć, a nie zgadywać.
- LLM jako sędzia (LLM-as-judge): Użycie modelu z rubryką do oceny wyniku innego modelu.
- Routing i fallback modeli: Kierowanie każdego zapytania do modelu, który do niego pasuje, i do innego, gdy pierwszy zawiedzie.
