Rozumowanie i effort
Modele, które myślą przed odpowiedzią, z ustawieniem, ile tego myślenia zużyć.
Modele rozumujące wytwarzają wewnętrzne kroki przed odpowiedzią, co pomaga przy problemach wieloetapowych. Te kroki kosztują tokeny wyjścia i czas. Ustawienie effort albo budżetu wymienia jakość na szybkość i koszt per wywołanie.
Powiązane hasła
- Tokeny: Kawałki tekstu, które model czyta i pisze, i jednostka, za którą płacisz.
- Routing i fallback modeli: Kierowanie każdego zapytania do modelu, który do niego pasuje, i do innego, gdy pierwszy zawiedzie.
