Benchmark LLM
Publiczny, ustandaryzowany zestaw testów do porównywania modeli między sobą, w odróżnieniu od ewaluacji zbudowanych pod własne zadanie.
Benchmarki takie jak MMLU czy SWE-bench dają każdemu modelowi te same zadania i publikują ranking. Przydają się do krótkiej listy, ale mierzą ogólne zdolności, a nie Twoje dokumenty, język czy przypadki brzegowe. Wyniki z czasem puchną, bo pytania testowe przeciekają do danych treningowych, a dostawcy stroją modele pod ranking. Własne ewaluacje odpowiadają na pytanie, na które benchmark nie odpowie: który model działa w tym zadaniu przy tym koszcie.
Powiązane hasła
- Ewaluacje (evals): Powtarzalny zestaw testów, który ocenia funkcję AI, żeby zmiany mierzyć, a nie zgadywać.
- Zestaw testowy (golden dataset): Stały zestaw prawdziwych wejść z oczekiwanymi odpowiedziami albo warunkami, którym testujesz funkcję AI po każdej zmianie promptu albo modelu.
- Routing i fallback modeli: Kierowanie każdego zapytania do modelu, który do niego pasuje, i do innego, gdy pierwszy zawiedzie.
- Koszt zadania (ekonomia agentów): Ile naprawdę kosztuje jedno skończone zadanie agenta: tokeny, ponowienia, wywołania narzędzi i czas człowieka na przegląd, w porównaniu z innym sposobem.
