Sufit kosztów
Twardy limit wydatków egzekwowany przez Twój kod, na użytkownika, dzień albo miesiąc.
Publiczne funkcje AI mogą być nadużywane albo zapętlić się przez błąd. Sufit kosztów rezerwuje szacunek przed każdym wywołaniem, rozlicza faktyczny koszt po nim i odmawia pracy, gdy budżet się skończy. Potrzebuje jednego spójnego licznika, nie cache’u, który kiedyś się zsynchronizuje.
Powiązane hasła
- Tokeny: Kawałki tekstu, które model czyta i pisze, i jednostka, za którą płacisz.
- Pętla agenta: Cykl: wywołanie modelu, wywołanie narzędzia, wynik, który agent powtarza, aż skończy.
- Guardrails (barierki): Kontrole wokół modelu, które blokują, poprawiają albo oznaczają wejścia i wyjścia łamiące reguły.
- Rate limiting (limit zapytań): Ograniczenie, ile zapytań użytkownik, klucz albo IP może wysłać w oknie czasu, z odpowiedzią HTTP 429 powyżej limitu.
