Batch API (LLM)
Wysyłanie wielu zapytań do modelu jako jednego zadania, które kończy się w ciągu godzin zamiast sekund, zwykle ze sporą zniżką.
Główni dostawcy mają endpointy wsadowe dla pracy, na którą nikt nie czeka: klasyfikacja zaległości, wzbogacanie katalogu, nocne ewaluacje, generowanie opisów. Wgrywasz plik z zapytaniami, a wyniki odbierasz później. Wymieniasz czas oczekiwania na cenę i osobne limity; nie nadaje się do niczego, na co czeka użytkownik.
Powiązane hasła
- Tokeny: Kawałki tekstu, które model czyta i pisze, i jednostka, za którą płacisz.
- Sufit kosztów: Twardy limit wydatków egzekwowany przez Twój kod, na użytkownika, dzień albo miesiąc.
- Cache promptu (prompt caching): Ponowne użycie identycznego początku promptu między zapytaniami, żeby był tańszy i szybszy.
