AI gotowe na produkcję (production readiness)
Funkcja AI, która ma testy, monitoring, limit kosztów, ograniczone uprawnienia i da się ją wycofać, a nie taka, która zadziałała tylko na demie.
Przegląd gotowości produkcyjnej to lista kontrolna przed startem. Dla AI zwykle obejmuje ewaluacje na prawdziwych przypadkach uruchamiane przy każdej zmianie, obserwowalność LLM dla każdego zapytania, limit kosztów, przypiętą wersję modelu, uprawnienia zgodne z użytkownikiem, plan awaryjny, gdy model zawiedzie, i osobę na dyżurze. Większość drogi od pilota do produkcji to ta lista, a nie model.
Powiązane hasła
- Pilot purgatory (czyściec pilotów): Sytuacja, w której proof of concept i piloty AI ciągną się albo są porzucane, nie trafiając na produkcję, albo ruszają, ale nadzór ludzi kosztuje więcej, niż agent oszczędza.
- Ewaluacje (evals): Powtarzalny zestaw testów, który ocenia funkcję AI, żeby zmiany mierzyć, a nie zgadywać.
- Obserwowalność LLM: Śledzenie każdego wywołania modelu: wejście, wyjście, czas, tokeny, koszt i wynik dla użytkownika.
- Sufit kosztów: Twardy limit wydatków egzekwowany przez Twój kod, na użytkownika, dzień albo miesiąc.
- Przypinanie wersji modelu (model pinning): Wywoływanie dokładnej, datowanej wersji modelu zamiast aliasu w rodzaju „latest”, żeby zachowanie nie zmieniało się bez Twojej wiedzy, i planowanie daty jej wycofania.
- Guardrails (barierki): Kontrole wokół modelu, które blokują, poprawiają albo oznaczają wejścia i wyjścia łamiące reguły.
