ciunkos.com/Słownik

Programowanie z agentami

Scenariusze holdout

Scenariusze użytkownika od początku do końca trzymane poza kodem, żeby agent kodujący ich nie widział i nie mógł pisać kodu, który tylko przechodzi sprawdzenie.

Test zapisany w repozytorium może przeczytać, i przepisać, agent, który ma go zaliczyć. Fabryka oprogramowania StrongDM opisuje rozwiązanie: scenariusze, czyli historyjki użytkownika od początku do końca trzymane poza kodem, „podobnie jak zbiór holdout w trenowaniu modeli”, sprawdzane na działającym oprogramowaniu, często przez LLM jako sędziego. Sukces staje się zmierzonym odsetkiem scenariuszy, które satysfakcjonują użytkownika, zamiast zielonego zestawu testów.

Pomysł jest ten sam co przy zestawie testowym do ewaluacji: kto buduje system, ten nie dostraja go na przykładach, którymi będzie oceniany. Scenariusze zwykle uruchamia się na cyfrowych bliźniakach usług zewnętrznych i są główną obroną przed reward hackingiem w fabryce oprogramowania.

Źródła

Udostępnij: LinkedIn · X ·

Powiązane hasła

  • Reward hacking (agenci kodujący): Gdy agent sprawia, że sprawdzenie przechodzi, nie rozwiązując zadania: usuwa albo osłabia testy, wyróżnia dane testowe albo podrabia wyniki.
  • Cyfrowy bliźniak (wirtualizacja usług): Behawioralna kopia usługi zewnętrznej, np. API płatności albo tożsamości, którą agenci i testy mogą wywoływać bezpiecznie, wielokrotnie i w dowolnej skali.
  • Zestaw testowy (golden dataset): Stały zestaw prawdziwych wejść z oczekiwanymi odpowiedziami albo warunkami, którym testujesz funkcję AI po każdej zmianie promptu albo modelu.
  • Fabryka oprogramowania (agenci AI): Linia, w której agenci piszą i poprawiają większość kodu, a ludzie piszą specyfikacje, ustawiają zabezpieczenia, projektują sprawdzenia i decydują, co wychodzi.
  • LLM jako sędzia (LLM-as-judge): Użycie modelu z rubryką do oceny wyniku innego modelu.
  • Pętla walidacji (backpressure dla agenta): Komendy, które agent kodujący uruchamia po każdej zmianie (testy, typy, lint, build) i poprawia kod, aż przejdą, więc sprawdza się sam, zanim spojrzy człowiek.

← Wszystkie hasła

Darmowe narzędzia

Walidator pomysłu na biznesDziesięć rubryk, werdykt ze stałej reguły i trzy tanie eksperymenty. Za darmo.Ile kosztuje aplikacjaTwój projekt na tle 125 prawdziwych produktów, z uczciwym rozrzutem.Konfigurator współpracyWybierz pracę i jej wielkość, zobacz godziny, cenę i termin.Sprawdź SPF, DKIM i DMARCOcena DNS poczty dowolnej domeny, z rekordami do wklejenia.Sprawdź BIMIRekord, DMARC, logo SVG Tiny PS i VMC albo CMC, z podglądem w skrzynkach.Apka do App Store i Google PlayCzego apce webowej brakuje do sklepów, TWA czy Capacitor, pliki do skopiowania.Budować czy kupićSaaS kontra własna apka w 1, 3 albo 5 lat, z miesiącem zwrotu.Instrukcja systemuRUNBOOK.md dla systemu, który znasz tylko Ty, w dwie minuty, w przeglądarce.Kalkulator SLAOpłata, czasy reakcji, budżet przestojów i zapisy do umowy.Lokalny model czy API?Czy model zmieści się w sprzęcie, jak szybko, ile kosztuje wobec API.Konektor MCP z OpenAPIWklej OpenAPI, dostań wąskie narzędzia MCP i szkielet serwera.Walidator faktury KSeFSprawdź fakturę FA(3) oficjalnym schematem w przeglądarce.Kalkulator ofertowaniaGodziny na zamianę zapytań w oferty i kiedy zwróci się agent.Kalkulator multi-tenantKtóry model multi-tenant, praca przy wydaniu i tygodnie budowy.Oferta z zapytaniaWrzuć zapytanie klienta, dostań pozycje z Twojego cennika. Za darmo.Widoczność w AICzy Claude poleca Twoją markę? Tygodniowe przebiegi pytań klientów, za darmo.List DeskWyczyść listę e-mail w przeglądarce: martwe domeny, jednorazowe, literówki, duplikaty.Eval DeskPrzypadki testowe dla promptu AI, uruchamiane po każdej zmianie: co się zepsuło, co naprawiło.Dashboard DeskDashboard wzrostu utworzony w Twoim PostHogu, plus braki w śledzeniu.Signature DeskJeden szablon stopki dla całej firmy, jako HTML do Gmaila, Outlooka i Apple Mail.Czy ten mail to oszustwo?Przekaż podejrzanego maila albo wgraj plik .eml; trzy modele AI i sprawdzenia techniczne dają werdykt.Email TestWyślij jednego maila i sprawdź wypis jednym kliknięciem, SPF, DKIM, DMARC i sygnały spamu.Vitals DeskCodzienny pomiar laboratoryjny stron na spowolnionym telefonie: LCP, CLS i TBT oraz mail, gdy strona zwolni. Za darmo.Ile kosztuje przepisanie systemuLinie kodu na punkty funkcyjne, godziny i koszt, z agentami i bez.

Wolisz wersję na wesoło? Korpo Tłumacz ma słownik korpomowy: zwroty z biura i to, co naprawdę znaczą. Słownik korpomowy →

Trzeba to zbudować, naprawić albo przejrzeć?

Buduję i ratuję produkty z agentami kodującymi pod regułami: funkcje AI na produkcji, uczciwe wyceny, poczta, która dochodzi.

Przemysław Zalewski

Jak pracuję

Przemysław Zalewski · 15+ lat doświadczenia w tworzeniu oprogramowania

„a true bias for action” CTO klienta, publiczna rekomendacja na LinkedInie

Moja obietnica

Wszystkie zasady, polityka AI i godziny pracy →

Cennik · Bezpieczeństwo · Prywatność i wyłączenie analityki · Centrum zaufania