Okno kontekstu
Maksymalna liczba tokenów, które model może przeczytać i napisać w jednym zapytaniu.
Liczy się wszystko: prompt systemowy, definicje narzędzi, rozmowa, wyniki narzędzi i odpowiedź. Większe okno pozwala wysłać więcej, ale więcej nie znaczy automatycznie lepiej: z długością zmienia się i jakość, i koszt.
Powiązane hasła
- Context rot (psucie się kontekstu): Jakość modelu spada, gdy kontekst zapełnia się starym, nieistotnym albo sprzecznym materiałem.
- Kompaktowanie kontekstu: Zastąpienie starszej części długiej rozmowy streszczeniem, żeby agent mógł pracować dalej.
- Tokeny: Kawałki tekstu, które model czyta i pisze, i jednostka, za którą płacisz.
