Koszt zadania (ekonomia agentów)
Ile naprawdę kosztuje jedno skończone zadanie agenta: tokeny, ponowienia, wywołania narzędzi i czas człowieka na przegląd, w porównaniu z innym sposobem.
Cena za milion tokenów niewiele mówi sama w sobie. Tańszy model, który potrzebuje trzech prób i dłuższego przeglądu, może kosztować więcej za skończone zadanie niż drogi, który trafia za pierwszym razem. Mierz ukończone zadania, nie wywołania: cały wydatek i minuty przeglądu podzielone przez zadania, które przeszły Twoje sprawdzenia. Ta liczba pozwala porównać modele, harnessy i reguły routingu oraz ustawić rozsądny limit kosztów.
Powiązane hasła
- Sufit kosztów: Twardy limit wydatków egzekwowany przez Twój kod, na użytkownika, dzień albo miesiąc.
- Tokeny: Kawałki tekstu, które model czyta i pisze, i jednostka, za którą płacisz.
- Routing i fallback modeli: Kierowanie każdego zapytania do modelu, który do niego pasuje, i do innego, gdy pierwszy zawiedzie.
- Ewaluacje trajektorii: Testy, które oceniają całą drogę agenta do odpowiedzi: jakie narzędzia wywołał, w jakiej kolejności, w ilu krokach i za ile; sam wynik końcowy to za mało.
