Best-of-N (wybór najlepszej z N odpowiedzi)
Wygenerowanie kilku odpowiedzi na ten sam prompt i zostawienie najlepszej, wybranej testem, wynikiem punktowym albo innym modelem w roli sędziego.
Odpowiedzi modelu różnią się między uruchomieniami, więc zapytanie N razy i wybór podnosi jakość bez zmiany modelu. Wyboru może dokonać kod (czy się kompiluje, czy JSON przechodzi walidację), funkcja punktująca albo LLM w roli sędziego. Kosztuje N razy więcej tokenów plus koszt sędziego, więc pasuje tam, gdzie jakość liczy się bardziej niż szybkość, np. przy publikowanych tekstach albo generowanym kodzie.
Powiązane hasła
- LLM jako sędzia (LLM-as-judge): Użycie modelu z rubryką do oceny wyniku innego modelu.
- Ewaluacje (evals): Powtarzalny zestaw testów, który ocenia funkcję AI, żeby zmiany mierzyć, a nie zgadywać.
- Tokeny: Kawałki tekstu, które model czyta i pisze, i jednostka, za którą płacisz.
