Cache promptu (prompt caching)
Ponowne użycie identycznego początku promptu między zapytaniami, żeby był tańszy i szybszy.
Jeśli wiele zapytań zaczyna się tym samym promptem systemowym, narzędziami i dokumentami, dostawca może zapamiętać ten początek i liczyć ułamek ceny za ponowne czytanie. Działa tylko dla identycznego prefiksu: jeden zmieniony znak na początku unieważnia wszystko za nim.
Powiązane hasła
- Tokeny: Kawałki tekstu, które model czyta i pisze, i jednostka, za którą płacisz.
- Context engineering: Decydowanie, co trafia do kontekstu modelu, w jakiej kolejności i kiedy, przez całe zadanie.
