Top-k (wyszukiwanie)
Liczba najwyżej ocenionych wyników wyszukiwania przekazywanych do następnego kroku; w RAG to, ile fragmentów trafia do promptu.
Małe k trzyma prompt krótki i tani, ale grozi pominięciem potrzebnego fragmentu; duże k podnosi czułość, a przy okazji dokłada szum, koszt i opóźnienie. Częsty układ pobiera szeroki zbiór, np. 50, i zostawia rerankerowi wybór kilku najlepszych. Tej samej nazwy używa się dla ustawienia próbkowania przy generowaniu tekstu, gdzie model wybiera kolejny token spośród k najbardziej prawdopodobnych; to coś innego.
Powiązane hasła
- Reranker: Model, który ponownie ocenia najlepsze wyniki wyszukiwania względem zapytania, żeby do modelu językowego trafiły najpierw najtrafniejsze.
- Czułość (recall): Odsetek wszystkich trafnych pozycji, które system faktycznie znalazł: ile wyłapał z tego, co powinien był wyłapać.
- RAG (retrieval-augmented generation): Najpierw wyszukanie pasujących dokumentów i włożenie ich do promptu, żeby model odpowiadał na ich podstawie.
- Context precision (precyzja kontekstu): Metryka wyszukiwania w RAG: czy fragmenty trafne dla pytania są na górze listy tego, co zostało znalezione.
