Ewaluator-optymalizator (maker-checker)
Jeden model pisze szkic, drugi sprawdza go według ustalonych kryteriów i odsyła uwagi, w pętli, aż szkic przejdzie albo zatrzyma go limit rund.
Ewaluator-optymalizator to pętla dwóch ról. Generator pisze szkic. Ewaluator sprawdza go według ustalonych kryteriów i odsyła konkretne uwagi. Generator poprawia, a pętla się powtarza, aż szkic przejdzie albo zatrzyma go limit rund. W bankach ta sama zasada nazywa się maker-checker (zasada czterech oczu). To jeden ze wzorców workflow agentowego.
Według tekstu Anthropic Building effective agents wzorzec działa najlepiej, gdy kryteria oceny są jasne, a uwagi mierzalnie poprawiają wynik: tłumaczenie, streszczenie umowy, kod, który musi przejść testy. Ewaluatorem może być model, zestaw testów, linter albo człowiek. Sprawdzenia deterministyczne są tańsze i trudniej je oszukać, więc puszczaj je najpierw, a modelowi zostaw ocenę tego, czego kod nie sprawdzi. Każda runda to kolejny szkic i kolejna recenzja, więc ogranicz liczbę rund i pilnuj kosztu zadania. Pętla bez warunku wyjścia to najczęstszy błąd.
Sąsiednie wzorce mają inny kształt. LLM jako sędzia ocenia wyniki, często offline w ewaluacjach, bez pętli poprawek. Best-of-n generuje kilka kandydatów i wybiera jednego, bez uwag. Adversarial review używa recenzenta, którego zadaniem jest rozbić pracę. Ewaluator-optymalizator to ten wzorzec, który wprowadza krytykę z powrotem do kolejnego szkicu.
Źródła
- Anthropic: Building effective AI agents anthropic.com
Powiązane hasła
- Workflow agentowy (workflow czy agent): Proces, w którym kroki ustala Twój kod, a model wykonuje część z nich, w odróżnieniu od agenta, który sam decyduje o krokach.
- LLM jako sędzia (LLM-as-judge): Użycie modelu z rubryką do oceny wyniku innego modelu.
- Best-of-N (wybór najlepszej z N odpowiedzi): Wygenerowanie kilku odpowiedzi na ten sam prompt i zostawienie najlepszej, wybranej testem, wynikiem punktowym albo innym modelem w roli sędziego.
- Adversarial review (przegląd innym modelem): Prośba do drugiego modelu AI albo świeżego agenta o znalezienie błędów w zmianie, zanim przejrzy ją człowiek, zamiast prosić autora, żeby sprawdził sam siebie.
- Ewaluacje (evals): Powtarzalny zestaw testów, który ocenia funkcję AI, żeby zmiany mierzyć, a nie zgadywać.
- Koszt zadania (ekonomia agentów): Ile naprawdę kosztuje jedno skończone zadanie agenta: tokeny, ponowienia, wywołania narzędzi i czas człowieka na przegląd, w porównaniu z innym sposobem.
- Człowiek w pętli (human in the loop): Człowiek zatwierdza, poprawia albo odrzuca akcję agenta, zanim zacznie działać.
- Łańcuch promptów (prompt chaining): Stała sekwencja wywołań modelu, w której każdy krok pracuje na wyniku poprzedniego, a między krokami kod sprawdza wynik.
