Red teaming AI
Celowe atakowanie własnej funkcji AI szkodliwymi, podchwytliwymi i wstrzykniętymi danymi, żeby znaleźć błędy, zanim zrobią to użytkownicy albo atakujący.
Red team pisze prompty próbujące jailbreaków, poleceń ukrytych w dokumentach, próśb o dane innych użytkowników i wywołań narzędzi z groźnymi argumentami, a potem zapisuje, co przeszło. W odróżnieniu od klasycznego pentestu wyniki różnią się między uruchomieniami, więc najcenniejszy efekt to zestaw przypadków ataku, które stają się stałymi ewaluacjami po każdej zmianie modelu albo promptu.
Powiązane hasła
- Jailbreak (LLM): Prompt napisany tak, żeby model zignorował swoje zasady bezpieczeństwa albo prompt systemowy, wysłany przez samego użytkownika.
- Prompt injection: Instrukcje ukryte w danych (stronie, mailu, pliku), które model wykonuje, jakby pochodziły od Ciebie.
- Ewaluacje (evals): Powtarzalny zestaw testów, który ocenia funkcję AI, żeby zmiany mierzyć, a nie zgadywać.
- Test penetracyjny (pentest): Autoryzowany, ograniczony w czasie atak testerów bezpieczeństwa na Twoją aplikację, zakończony raportem, co udało się złamać i jak poważnie.
