ciunkos.com/Słownik

Agenci i narzędzia

Ewaluator-optymalizator (maker-checker)

Jeden model pisze szkic, drugi sprawdza go według ustalonych kryteriów i odsyła uwagi, w pętli, aż szkic przejdzie albo zatrzyma go limit rund.

Ewaluator-optymalizator to pętla dwóch ról. Generator pisze szkic. Ewaluator sprawdza go według ustalonych kryteriów i odsyła konkretne uwagi. Generator poprawia, a pętla się powtarza, aż szkic przejdzie albo zatrzyma go limit rund. W bankach ta sama zasada nazywa się maker-checker (zasada czterech oczu). To jeden ze wzorców workflow agentowego.

Według tekstu Anthropic Building effective agents wzorzec działa najlepiej, gdy kryteria oceny są jasne, a uwagi mierzalnie poprawiają wynik: tłumaczenie, streszczenie umowy, kod, który musi przejść testy. Ewaluatorem może być model, zestaw testów, linter albo człowiek. Sprawdzenia deterministyczne są tańsze i trudniej je oszukać, więc puszczaj je najpierw, a modelowi zostaw ocenę tego, czego kod nie sprawdzi. Każda runda to kolejny szkic i kolejna recenzja, więc ogranicz liczbę rund i pilnuj kosztu zadania. Pętla bez warunku wyjścia to najczęstszy błąd.

Sąsiednie wzorce mają inny kształt. LLM jako sędzia ocenia wyniki, często offline w ewaluacjach, bez pętli poprawek. Best-of-n generuje kilka kandydatów i wybiera jednego, bez uwag. Adversarial review używa recenzenta, którego zadaniem jest rozbić pracę. Ewaluator-optymalizator to ten wzorzec, który wprowadza krytykę z powrotem do kolejnego szkicu.

Źródła

Udostępnij: LinkedIn · X ·

Powiązane hasła

Wspominają to hasło

← Wszystkie hasła

Darmowe narzędzia

Walidator pomysłu na biznesDziesięć rubryk, werdykt ze stałej reguły i trzy tanie eksperymenty. Za darmo.Ile kosztuje aplikacjaTwój projekt na tle 125 prawdziwych produktów, z uczciwym rozrzutem.Konfigurator współpracyWybierz pracę i jej wielkość, zobacz godziny, cenę i termin.Sprawdź SPF, DKIM i DMARCOcena DNS poczty dowolnej domeny, z rekordami do wklejenia.Sprawdź BIMIRekord, DMARC, logo SVG Tiny PS i VMC albo CMC, z podglądem w skrzynkach.Apka do App Store i Google PlayCzego apce webowej brakuje do sklepów, TWA czy Capacitor, pliki do skopiowania.Budować czy kupićSaaS kontra własna apka w 1, 3 albo 5 lat, z miesiącem zwrotu.Instrukcja systemuRUNBOOK.md dla systemu, który znasz tylko Ty, w dwie minuty, w przeglądarce.Kalkulator SLAOpłata, czasy reakcji, budżet przestojów i zapisy do umowy.Lokalny model czy API?Czy model zmieści się w sprzęcie, jak szybko, ile kosztuje wobec API.Konektor MCP z OpenAPIWklej OpenAPI, dostań wąskie narzędzia MCP i szkielet serwera.Walidator faktury KSeFSprawdź fakturę FA(3) oficjalnym schematem w przeglądarce.Kalkulator ofertowaniaGodziny na zamianę zapytań w oferty i kiedy zwróci się agent.Kalkulator multi-tenantKtóry model multi-tenant, praca przy wydaniu i tygodnie budowy.Oferta z zapytaniaWrzuć zapytanie klienta, dostań pozycje z Twojego cennika. Za darmo.Widoczność w AICzy Claude poleca Twoją markę? Tygodniowe przebiegi pytań klientów, za darmo.List DeskWyczyść listę e-mail w przeglądarce: martwe domeny, jednorazowe, literówki, duplikaty.Eval DeskPrzypadki testowe dla promptu AI, uruchamiane po każdej zmianie: co się zepsuło, co naprawiło.Dashboard DeskDashboard wzrostu utworzony w Twoim PostHogu, plus braki w śledzeniu.Signature DeskJeden szablon stopki dla całej firmy, jako HTML do Gmaila, Outlooka i Apple Mail.Czy ten mail to oszustwo?Przekaż podejrzanego maila albo wgraj plik .eml; trzy modele AI i sprawdzenia techniczne dają werdykt.Email TestWyślij jednego maila i sprawdź wypis jednym kliknięciem, SPF, DKIM, DMARC i sygnały spamu.Vitals DeskCodzienny pomiar laboratoryjny stron na spowolnionym telefonie: LCP, CLS i TBT oraz mail, gdy strona zwolni. Za darmo.Ile kosztuje przepisanie systemuLinie kodu na punkty funkcyjne, godziny i koszt, z agentami i bez.

Wolisz wersję na wesoło? Korpo Tłumacz ma słownik korpomowy: zwroty z biura i to, co naprawdę znaczą. Słownik korpomowy →

Trzeba to zbudować, naprawić albo przejrzeć?

Buduję i ratuję produkty z agentami kodującymi pod regułami: funkcje AI na produkcji, uczciwe wyceny, poczta, która dochodzi.

Przemysław Zalewski

Jak pracuję

Przemysław Zalewski · 15+ lat doświadczenia w tworzeniu oprogramowania

„a true bias for action” CTO klienta, publiczna rekomendacja na LinkedInie

Moja obietnica

Wszystkie zasady, polityka AI i godziny pracy →

Cennik · Bezpieczeństwo · Prywatność i wyłączenie analityki · Centrum zaufania