Routing i fallback modeli
Kierowanie każdego zapytania do modelu, który do niego pasuje, i do innego, gdy pierwszy zawiedzie.
Tanie, szybkie modele obsługują proste kroki; mocne te trudne. Łańcuch fallbacków pokrywa awarie, limity i odmowy. Modele zmieniają się często, więc nazwa modelu powinna być konfiguracją, a nie kodem rozsianym po aplikacji.
Powiązane hasła
- Ewaluacje (evals): Powtarzalny zestaw testów, który ocenia funkcję AI, żeby zmiany mierzyć, a nie zgadywać.
- AI gateway: Pośrednik między aplikacją a dostawcami modeli, który dodaje logi, cache, limity, rozliczenia i fallbacki.
- Tokeny: Kawałki tekstu, które model czyta i pisze, i jednostka, za którą płacisz.
