First-pass success rate (skuteczność za pierwszym razem)
Odsetek zadań, które agent kończy w jednym przebiegu i które przechodzą sprawdzenia i przegląd bez przepisywania przez człowieka; główna metryka pracy z agentami.
Wynik agenta jest tani; poprawki nie. First-pass success rate liczy, jak często przebieg agenta kończy się zmianą zmergowaną bez zmian albo z drobnymi poprawkami. Zależy od jakości wejścia (dobre PRP albo specyfikacja), pętli walidacji i samego kodu, więc mierzy bardziej system wokół agenta niż model.
Zwykle śledzi się go z kilkoma pokrewnymi liczbami: defect escape rate (błędy znalezione po merge’u w zmianach napisanych przez agenta), odsetek zmian zmergowanych bez ludzkich edycji i koszt zadania. Postawione obok metryk DORA pokazują, czy agenci przyspieszają dostarczanie, czy tylko przenoszą pracę na przegląd i poprawki.
Powiązane hasła
- PRP (Product Requirement Prompt): PRD przepisany dla agenta kodującego: cel i uzasadnienie plus konkretne pliki, wzorce do naśladowania i komendy, które dowodzą, że praca jest skończona.
- Metryki DORA: Oparte na badaniach miary dostarczania software’u: jak szybko zmiany trafiają na produkcję i jak często zawodzą.
- Fabryka oprogramowania (agenci AI): Linia, w której agenci piszą i poprawiają większość kodu, a ludzie piszą specyfikacje, ustawiają zabezpieczenia, projektują sprawdzenia i decydują, co wychodzi.
- Koszt zadania (ekonomia agentów): Ile naprawdę kosztuje jedno skończone zadanie agenta: tokeny, ponowienia, wywołania narzędzi i czas człowieka na przegląd, w porównaniu z innym sposobem.
- Comprehension debt (dług zrozumienia): Rosnąca luka między tym, ile kodu ma system, a tym, ile z niego ktokolwiek w zespole naprawdę rozumie; typowy koszt szybkiego kodu pisanego przez AI.
