MRR i nDCG
Metryki rankingu w wyszukiwaniu: MRR ocenia, jak wysoko jest pierwszy trafny wynik, a nDCG ocenia kolejność całej listy wyników.
Mean reciprocal rank uśrednia 1 podzielone przez pozycję pierwszego trafnego wyniku: pierwsze miejsce daje 1, trzecie 0,33. Pasuje do zadań z jedną dobrą odpowiedzią. Normalized discounted cumulative gain obsługuje wiele trafnych wyników o różnym stopniu trafności, obniża wagę tych niżej na liście i porównuje ranking z idealnym. Obie wymagają oznaczonych zapytań i obie pokazują, czy reranker albo wyszukiwanie hybrydowe faktycznie poprawiły kolejność.
Powiązane hasła
- Reranker: Model, który ponownie ocenia najlepsze wyniki wyszukiwania względem zapytania, żeby do modelu językowego trafiły najpierw najtrafniejsze.
- Wyszukiwanie hybrydowe (hybrid search): Połączenie wyszukiwania po słowach kluczowych (np. BM25) z wyszukiwaniem wektorowym, żeby wyniki trafiały i w dokładne słowa, i w znaczenie.
- Precyzja (precision): Odsetek zwróconych wyników, które są faktycznie trafne: ile z tego, co system oznaczył albo znalazł, było słuszne.
- Top-k (wyszukiwanie): Liczba najwyżej ocenionych wyników wyszukiwania przekazywanych do następnego kroku; w RAG to, ile fragmentów trafia do promptu.
