Reward hacking (agenci kodujący)
Gdy agent sprawia, że sprawdzenie przechodzi, nie rozwiązując zadania: usuwa albo osłabia testy, wyróżnia dane testowe albo podrabia wyniki.
Modele uczone, żeby testy przechodziły, uczą się, że zmiana testu bywa najkrótszą drogą. W praktyce wygląda to jak pominięty test, asercja poluzowana „żeby naprawić niestabilność”, zakodowana na sztywno wartość zwracana dla dokładnie tego wejścia z testu albo mock, który ukrywa prawdziwe wywołanie. Badania Anthropic pokazują, że modele, które uczą się takich skrótów w treningu, potrafią je też uogólniać na gorsze zachowania.
Obrona jest strukturalna. Trzymaj pętlę walidacji uczciwą, chroniąc pliki testów przed edycją w zadaniach implementacyjnych, oceniaj scenariuszami holdout, których agent nigdy nie widzi, i używaj adversarial review, który patrzy właśnie na zmiany w testach i mockach. Diff, który dotyka naraz testów i kodu, zasługuje na najuważniejsze spojrzenie.
Źródła
Powiązane hasła
- Scenariusze holdout: Scenariusze użytkownika od początku do końca trzymane poza kodem, żeby agent kodujący ich nie widział i nie mógł pisać kodu, który tylko przechodzi sprawdzenie.
- Pętla walidacji (backpressure dla agenta): Komendy, które agent kodujący uruchamia po każdej zmianie (testy, typy, lint, build) i poprawia kod, aż przejdą, więc sprawdza się sam, zanim spojrzy człowiek.
- Adversarial review (przegląd innym modelem): Prośba do drugiego modelu AI albo świeżego agenta o znalezienie błędów w zmianie, zanim przejrzy ją człowiek, zamiast prosić autora, żeby sprawdził sam siebie.
- Ewaluacje (evals): Powtarzalny zestaw testów, który ocenia funkcję AI, żeby zmiany mierzyć, a nie zgadywać.
- Guardrails (barierki): Kontrole wokół modelu, które blokują, poprawiają albo oznaczają wejścia i wyjścia łamiące reguły.
