Context precision (precyzja kontekstu)
Metryka wyszukiwania w RAG: czy fragmenty trafne dla pytania są na górze listy tego, co zostało znalezione.
Każdy znaleziony fragment jest oceniany jako trafny albo nie, przez porównanie z odpowiedzią wzorcową albo przez model w roli sędziego, a wynik nagradza trafne fragmenty na początku listy. Niski wynik znaczy, że model dostaje szum wymieszany z użytecznym tekstem albo ustawiony przed nim, co kosztuje tokeny i może sprowadzić odpowiedź na manowce. To cecha wyszukiwarki i rerankera, a nie modelu językowego.
Powiązane hasła
- Context recall (pokrycie kontekstu): Metryka wyszukiwania w RAG: jaka część informacji potrzebnych do poprawnej odpowiedzi została faktycznie znaleziona.
- Precyzja (precision): Odsetek zwróconych wyników, które są faktycznie trafne: ile z tego, co system oznaczył albo znalazł, było słuszne.
- Reranker: Model, który ponownie ocenia najlepsze wyniki wyszukiwania względem zapytania, żeby do modelu językowego trafiły najpierw najtrafniejsze.
- Ragas: Otwarta biblioteka w Pythonie do ewaluacji systemów RAG metrykami takimi jak faithfulness, answer relevancy, context precision i context recall.
- Top-k (wyszukiwanie): Liczba najwyżej ocenionych wyników wyszukiwania przekazywanych do następnego kroku; w RAG to, ile fragmentów trafia do promptu.
