BM25
Standardowa formuła rankingu w wyszukiwaniu po słowach kluczowych: ocenia dokumenty po częstości słów z zapytania i mocniej waży słowa rzadkie.
BM25 pochodzi z lat 90. i wciąż jest domyślnym rankingiem w silnikach takich jak Elasticsearch i OpenSearch. Nagradza rzadkie słowa, tłumi powtórzenia i koryguje wynik o długość dokumentu. Nie potrzebuje modelu ani GPU i jest dokładne przy kodach produktów, nazwach i liczbach, czyli tam, gdzie embeddingi są słabe. Nie rozumie synonimów, dlatego wyszukiwanie hybrydowe łączy je z wyszukiwaniem wektorowym.
Powiązane hasła
- Wyszukiwanie hybrydowe (hybrid search): Połączenie wyszukiwania po słowach kluczowych (np. BM25) z wyszukiwaniem wektorowym, żeby wyniki trafiały i w dokładne słowa, i w znaczenie.
- Wyszukiwanie semantyczne (semantic search): Wyszukiwanie, które dopasowuje po znaczeniu, a nie po dokładnych słowach, porównując embeddingi zapytania i dokumentów.
- Embeddingi: Wektory liczb, w których teksty o podobnym znaczeniu leżą blisko siebie.
- RAG (retrieval-augmented generation): Najpierw wyszukanie pasujących dokumentów i włożenie ich do promptu, żeby model odpowiadał na ich podstawie.
