RZECZOWNIK

prompt injection

Wmawianie botowi, że rozmawia z adminem, żeby zdradził instrukcje albo zrobił coś, czego nie powinien. Najczęściej próbowane przez szefa, który chciał tylko sprawdzić, czy da się.

po ludzku: wmawianie botowi roli admina

Korpo Tłumacz · ciunkos.com/korpo-tlumaczSłownik korpo–polski

Podaj dalej

X LinkedIn Facebook Wykop Pobierz kartę PNG

Powiązane hasła

prompt engineeringUmiejętność formułowania poleceń dla modelu. Nazwa sugeruje inżynierię, praktyka polega głównie na rozpoznaniu, czego system nie potrafi — a to jest wiedza… one-shotowaćZrobić coś za pierwszym podejściem, bez poprawek. Słowo AI-slangu: model powinien to one-shotować, a jeśli nie one-shotuje, to wina promptu, czyli człowieka. monitPrompt: polecenie wpisane modelowi. Polskie lokalizacje biurowych asystentów AI nazywają je monitem, a monit to w polszczyźnie pismo ponaglające dłużnika. don't ask me for permission, go code, leave me PRsInstrukcja szefa dla agenta AI, sformułowana jak list motywacyjny do pracownika marzeń. Agent nie pyta, pisze kod i zostawia pull requesty, a szef ogłasza, że zatrudnił kogoś z high agency. meta-promptPrompt o tym, jak pisać prompty. Poziom abstrakcji, na którym pojawia się to samo pytanie co zawsze: kto sprawdzi, czy wynik jest dobry. botsittingNiańczenie bota: dopisywanie kontekstu, poprawianie wyników i sprzątanie po modelu. W raportach zjada połowę czasu, który AI miało zaoszczędzić, ale w statystyce oszczędności się go nie liczy.

Pytania i odpowiedzi

Co znaczy prompt injection?

Prompt injection to próba skierowania modelu AI do niezamierzonego działania przez podsunięte mu instrukcje. Atak wykorzystuje to, że model traktuje czytaną treść jak polecenie, i może zmienić odpowiedź albo skłonić agenta do użycia narzędzi niezgodnie z zadaniem. Po ludzku: socjotechnika, tylko ofiara czyta szybciej.

Czym różni się bezpośredni i pośredni prompt injection?

Bezpośredni prompt injection trafia do modelu w wiadomości atakującego. Pośredni siedzi w materiale, który agent czyta na zlecenie użytkownika: na stronie, w dokumencie, w mailu. Biała czcionka na białym tle z napisem „zignoruj poprzednie instrukcje” to nie easter egg, tylko próba przejęcia twojego asystenta.

Jak ograniczyć ryzyko prompt injection?

Traktuj treści zewnętrzne jako dane, ogranicz uprawnienia narzędzi i sprawdzaj ich parametry poza modelem. Przy ważnych operacjach zostaw decyzję człowiekowi. Dopisek „nie słuchaj obcych poleceń” w instrukcji systemowej to tabliczka „nie wchodzić” — zabezpieczenia muszą też ograniczać skutki błędu modelu.

Źródła: OWASP — Prompt Injection

Cały słownik korpomowy →Słówko dnia →Losowe hasło →

„prompt injection” to hasło ze słownika korpomowy Korpo Tłumacza na ciunkos.com — tłumacza z korpomowy na polski i z powrotem.