Trafność odpowiedzi (answer relevancy)
Metryka RAG, która ocenia, na ile odpowiedź dotyczy zadanego pytania, niezależnie od tego, czy jest zgodna z faktami.
Odpowiedź może być prawdziwa i mimo to chybiona: niepełna, rozwlekła albo o sąsiednim temacie. Ragas, który nazywa dziś tę metrykę response relevancy, każe modelowi wygenerować pytania pasujące do odpowiedzi i porównuje je z pierwotnym pytaniem przez podobieństwo embeddingów. Inne narzędzia pytają wprost model w roli sędziego. Metryka nie mierzy prawdziwości, więc czytaj ją razem z wiernością.
Powiązane hasła
- Wierność odpowiedzi (faithfulness): Metryka RAG: odsetek twierdzeń w odpowiedzi, które mają oparcie w znalezionych źródłach, a nie w pamięci albo inwencji modelu.
- Ragas: Otwarta biblioteka w Pythonie do ewaluacji systemów RAG metrykami takimi jak faithfulness, answer relevancy, context precision i context recall.
- LLM jako sędzia (LLM-as-judge): Użycie modelu z rubryką do oceny wyniku innego modelu.
- Ewaluacje (evals): Powtarzalny zestaw testów, który ocenia funkcję AI, żeby zmiany mierzyć, a nie zgadywać.
