DeepEval
Otwarty framework w Pythonie, który testuje aplikacje LLM tak, jak pytest testuje kod, z gotowymi metrykami dla RAG i agentów.
Przypadek testowy zawiera wejście, faktyczny wynik i, gdy trzeba, oczekiwany wynik oraz znaleziony kontekst; metryki go oceniają, a test przechodzi powyżej progu. Ma metryki RAG podobne do tych z Ragas oraz G-Eval, czyli metrykę, w której model w roli sędziego ocenia według kryteriów spisanych zwykłym językiem. Rozwija go firma Confident AI, która sprzedaje opartą na nim platformę w chmurze.
Powiązane hasła
- Ragas: Otwarta biblioteka w Pythonie do ewaluacji systemów RAG metrykami takimi jak faithfulness, answer relevancy, context precision i context recall.
- Promptfoo: Otwarte narzędzie wiersza poleceń do testowania promptów i modeli na przypadkach opisanych w pliku konfiguracyjnym, łącznie z red teamingiem bezpieczeństwa.
- Ewaluacje (evals): Powtarzalny zestaw testów, który ocenia funkcję AI, żeby zmiany mierzyć, a nie zgadywać.
- LLM jako sędzia (LLM-as-judge): Użycie modelu z rubryką do oceny wyniku innego modelu.
