Nadmierna sprawczość (excessive agency)
Agent AI z większą liczbą narzędzi, uprawnień albo swobody, niż wymaga zadanie, więc błąd albo wstrzyknięte polecenie może narobić prawdziwych szkód.
Termin pochodzi z OWASP Top 10 dla aplikacji LLM, które wymienia trzy przyczyny: nadmiar funkcji (narzędzie, które może kasować, gdy zadanie wymaga wyłącznie odczytu), nadmiar uprawnień (użytkownik bazy z prawem zapisu do wszystkiego) i nadmiar autonomii (działanie bez akceptacji człowieka przy krokach o dużym skutku). Model czasem się pomyli albo da zmanipulować; sprawczość decyduje, ile to kosztuje.
Powiązane hasła
- Lethal trifecta (zabójcza trójka): Agent AI, który ma dostęp do prywatnych danych, czyta niezaufane treści i potrafi wysłać dane na zewnątrz, da się podejść tak, żeby te dane wyniósł.
- Guardrails (barierki): Kontrole wokół modelu, które blokują, poprawiają albo oznaczają wejścia i wyjścia łamiące reguły.
- Człowiek w pętli (human in the loop): Człowiek zatwierdza, poprawia albo odrzuca akcję agenta, zanim zacznie działać.
- OWASP Top 10 dla aplikacji LLM: Lista OWASP najważniejszych ryzyk bezpieczeństwa w aplikacjach opartych na modelach językowych, z osobną listą dla agentów AI.
