AI gateway
Pośrednik między aplikacją a dostawcami modeli, który dodaje logi, cache, limity, rozliczenia i fallbacki.
Zamiast wołać każdego dostawcę bezpośrednio, aplikacja woła gateway, który przekazuje zapytanie dalej. Masz jedno miejsce, żeby widzieć ruch i koszt, zmieniać dostawców i egzekwować limity. Niektóre gatewaye rozliczają też kilku dostawców z jednego salda.
Powiązane hasła
- Routing i fallback modeli: Kierowanie każdego zapytania do modelu, który do niego pasuje, i do innego, gdy pierwszy zawiedzie.
- Sufit kosztów: Twardy limit wydatków egzekwowany przez Twój kod, na użytkownika, dzień albo miesiąc.
- Obserwowalność LLM: Śledzenie każdego wywołania modelu: wejście, wyjście, czas, tokeny, koszt i wynik dla użytkownika.
