Context recall (pokrycie kontekstu)
Metryka wyszukiwania w RAG: jaka część informacji potrzebnych do poprawnej odpowiedzi została faktycznie znaleziona.
Odpowiedź wzorcową dzieli się na twierdzenia i każde sprawdza ze znalezionym kontekstem; wynik to odsetek tych, które da się tam znaleźć. Wymaga ground truth, więc uruchamia się ją na przygotowanym zestawie testowym. Niski wynik znaczy, że odpowiedź przepadła, zanim model cokolwiek zobaczył: dokumentu nie ma w indeksie, został źle podzielony albo wylądował za nisko w rankingu.
Powiązane hasła
- Context precision (precyzja kontekstu): Metryka wyszukiwania w RAG: czy fragmenty trafne dla pytania są na górze listy tego, co zostało znalezione.
- Czułość (recall): Odsetek wszystkich trafnych pozycji, które system faktycznie znalazł: ile wyłapał z tego, co powinien był wyłapać.
- Ground truth (odpowiedzi wzorcowe): Znane poprawne odpowiedzi albo etykiety, z którymi w ewaluacji porównuje się wynik modelu.
- Dzielenie dokumentów (chunking): Dzielenie dokumentów na mniejsze fragmenty przed indeksowaniem do wyszukiwania, żeby wyszukiwanie zwracało właściwą część, a nie cały plik.
- Ragas: Otwarta biblioteka w Pythonie do ewaluacji systemów RAG metrykami takimi jak faithfulness, answer relevancy, context precision i context recall.
