Dzielenie dokumentów (chunking)
Dzielenie dokumentów na mniejsze fragmenty przed indeksowaniem do wyszukiwania, żeby wyszukiwanie zwracało właściwą część, a nie cały plik.
Za duże fragmenty rozmywają znaczenie i marnują kontekst; za małe gubią zdanie, które je wyjaśnia. Dzielenie według struktury samego dokumentu (nagłówki, sekcje, wiersze tabel) działa lepiej niż stała długość, a niewielka zakładka albo tytuł sekcji dopisany do każdego fragmentu zachowuje kontekst. Tabele, skany PDF i arkusze zwykle wymagają osobnego podejścia.
Powiązane hasła
- RAG (retrieval-augmented generation): Najpierw wyszukanie pasujących dokumentów i włożenie ich do promptu, żeby model odpowiadał na ich podstawie.
- Embeddingi: Wektory liczb, w których teksty o podobnym znaczeniu leżą blisko siebie.
- Reranker: Model, który ponownie ocenia najlepsze wyniki wyszukiwania względem zapytania, żeby do modelu językowego trafiły najpierw najtrafniejsze.
