BLEU i ROUGE
Starsze metryki tekstu, które oceniają wygenerowany tekst po pokrywaniu się słów z tekstem wzorcowym: BLEU dla tłumaczeń, ROUGE dla streszczeń.
Obie liczą wspólne ciągi słów: BLEU ciąży ku precyzji, ROUGE ku czułości. Są tanie i deterministyczne, ale nagradzają kopiowanie sformułowań wzorca, więc poprawna odpowiedź innymi słowami wypada nisko, a płynna i błędna może wypaść wysoko. Przy swobodnych odpowiedziach LLM w dużej mierze zastąpiły je modele w roli sędziego i sprawdzenia szyte pod zadanie, choć wciąż pojawiają się w publikacjach i raportach dostawców.
Powiązane hasła
- Ewaluacje (evals): Powtarzalny zestaw testów, który ocenia funkcję AI, żeby zmiany mierzyć, a nie zgadywać.
- LLM jako sędzia (LLM-as-judge): Użycie modelu z rubryką do oceny wyniku innego modelu.
- Precyzja (precision): Odsetek zwróconych wyników, które są faktycznie trafne: ile z tego, co system oznaczył albo znalazł, było słuszne.
- Czułość (recall): Odsetek wszystkich trafnych pozycji, które system faktycznie znalazł: ile wyłapał z tego, co powinien był wyłapać.
