Ragas
Otwarta biblioteka w Pythonie do ewaluacji systemów RAG metrykami takimi jak faithfulness, answer relevancy, context precision i context recall.
Ragas wyrósł z pracy naukowej z 2023 r. i stał się częstym punktem odniesienia dla metryk RAG; inne narzędzia implementują te same. Ocenia wyszukiwanie (context precision, context recall) osobno od generowania (wierność, trafność odpowiedzi), głównie modelem w roli sędziego, i potrafi wygenerować pytania testowe z Twoich dokumentów. Wyniki zależą od modelu sędziego i jego promptów, więc są porównywalne między Twoimi uruchomieniami, a nie między dostawcami.
Powiązane hasła
- Wierność odpowiedzi (faithfulness): Metryka RAG: odsetek twierdzeń w odpowiedzi, które mają oparcie w znalezionych źródłach, a nie w pamięci albo inwencji modelu.
- Trafność odpowiedzi (answer relevancy): Metryka RAG, która ocenia, na ile odpowiedź dotyczy zadanego pytania, niezależnie od tego, czy jest zgodna z faktami.
- Context precision (precyzja kontekstu): Metryka wyszukiwania w RAG: czy fragmenty trafne dla pytania są na górze listy tego, co zostało znalezione.
- Context recall (pokrycie kontekstu): Metryka wyszukiwania w RAG: jaka część informacji potrzebnych do poprawnej odpowiedzi została faktycznie znaleziona.
- DeepEval: Otwarty framework w Pythonie, który testuje aplikacje LLM tak, jak pytest testuje kod, z gotowymi metrykami dla RAG i agentów.
- Promptfoo: Otwarte narzędzie wiersza poleceń do testowania promptów i modeli na przypadkach opisanych w pliku konfiguracyjnym, łącznie z red teamingiem bezpieczeństwa.
