Jailbreak (LLM)
Prompt napisany tak, żeby model zignorował swoje zasady bezpieczeństwa albo prompt systemowy, wysłany przez samego użytkownika.
Odgrywanie ról, zmyślone konteksty, zakodowany tekst albo długie, wieloturowe przygotowanie potrafią przepchnąć model poza jego zasady. Różnica względem prompt injection leży w tym, kto atakuje: przy jailbreaku użytkownik atakuje model; przy prompt injection ktoś trzeci atakuje użytkownika przez treść, którą czyta model. Dla firmy jailbreak to zwykle kompromitująca odpowiedź pod Twoją marką; injection może oznaczać wyciek danych.
Powiązane hasła
- Prompt injection: Instrukcje ukryte w danych (stronie, mailu, pliku), które model wykonuje, jakby pochodziły od Ciebie.
- Guardrails (barierki): Kontrole wokół modelu, które blokują, poprawiają albo oznaczają wejścia i wyjścia łamiące reguły.
- Red teaming AI: Celowe atakowanie własnej funkcji AI szkodliwymi, podchwytliwymi i wstrzykniętymi danymi, żeby znaleźć błędy, zanim zrobią to użytkownicy albo atakujący.
