Scenariusze holdout
Scenariusze użytkownika od początku do końca trzymane poza kodem, żeby agent kodujący ich nie widział i nie mógł pisać kodu, który tylko przechodzi sprawdzenie.
Test zapisany w repozytorium może przeczytać, i przepisać, agent, który ma go zaliczyć. Fabryka oprogramowania StrongDM opisuje rozwiązanie: scenariusze, czyli historyjki użytkownika od początku do końca trzymane poza kodem, „podobnie jak zbiór holdout w trenowaniu modeli”, sprawdzane na działającym oprogramowaniu, często przez LLM jako sędziego. Sukces staje się zmierzonym odsetkiem scenariuszy, które satysfakcjonują użytkownika, zamiast zielonego zestawu testów.
Pomysł jest ten sam co przy zestawie testowym do ewaluacji: kto buduje system, ten nie dostraja go na przykładach, którymi będzie oceniany. Scenariusze zwykle uruchamia się na cyfrowych bliźniakach usług zewnętrznych i są główną obroną przed reward hackingiem w fabryce oprogramowania.
Źródła
- StrongDM: Software Factory factory.strongdm.ai
Powiązane hasła
- Reward hacking (agenci kodujący): Gdy agent sprawia, że sprawdzenie przechodzi, nie rozwiązując zadania: usuwa albo osłabia testy, wyróżnia dane testowe albo podrabia wyniki.
- Cyfrowy bliźniak (wirtualizacja usług): Behawioralna kopia usługi zewnętrznej, np. API płatności albo tożsamości, którą agenci i testy mogą wywoływać bezpiecznie, wielokrotnie i w dowolnej skali.
- Zestaw testowy (golden dataset): Stały zestaw prawdziwych wejść z oczekiwanymi odpowiedziami albo warunkami, którym testujesz funkcję AI po każdej zmianie promptu albo modelu.
- Fabryka oprogramowania (agenci AI): Linia, w której agenci piszą i poprawiają większość kodu, a ludzie piszą specyfikacje, ustawiają zabezpieczenia, projektują sprawdzenia i decydują, co wychodzi.
- LLM jako sędzia (LLM-as-judge): Użycie modelu z rubryką do oceny wyniku innego modelu.
- Pętla walidacji (backpressure dla agenta): Komendy, które agent kodujący uruchamia po każdej zmianie (testy, typy, lint, build) i poprawia kod, aż przejdą, więc sprawdza się sam, zanim spojrzy człowiek.
