Wierność odpowiedzi (faithfulness)
Metryka RAG: odsetek twierdzeń w odpowiedzi, które mają oparcie w znalezionych źródłach, a nie w pamięci albo inwencji modelu.
Typowa metoda dzieli odpowiedź na pojedyncze twierdzenia i każde sprawdza ze znalezionym kontekstem, zwykle z pomocą LLM jako sędziego; wynik to twierdzenia z oparciem podzielone przez wszystkie. Niski wynik oznacza halucynacje względem źródeł. Metryka nie sprawdza, czy źródła mają rację ani czy odpowiedź dotyczy pytania: wierna odpowiedź może być bezużyteczna, dlatego łączy się ją z trafnością odpowiedzi. Część narzędzi nazywa ją groundedness.
Powiązane hasła
- Halucynacje: Płynna, pewna siebie odpowiedź, która jest nieprawdziwa albo nie wynika ze źródeł.
- Trafność odpowiedzi (answer relevancy): Metryka RAG, która ocenia, na ile odpowiedź dotyczy zadanego pytania, niezależnie od tego, czy jest zgodna z faktami.
- Ugruntowanie (grounding): Powiązanie odpowiedzi modelu z konkretnymi dostarczonymi źródłami, np. znalezionymi dokumentami albo wynikami wyszukiwania, zamiast z pamięcią z treningu.
- LLM jako sędzia (LLM-as-judge): Użycie modelu z rubryką do oceny wyniku innego modelu.
- Ragas: Otwarta biblioteka w Pythonie do ewaluacji systemów RAG metrykami takimi jak faithfulness, answer relevancy, context precision i context recall.
