Metryki adopcji AI
Miary tego, czy ludzie korzystają z narzędzi AI i czy to pomaga: użycie (aktywni użytkownicy), głębokość (zadania i procesy) i efekty (czas, jakość, koszt zadania).
Metryki adopcji AI pokazują, czy opłacone przez firmę narzędzia AI są używane i czy zmieniają pracę. Mają trzy warstwy: użycie (kto korzysta i jak często), głębokość (przy jakich zadaniach i w jakich procesach) i efekty (zaoszczędzony czas, jakość, koszt zadania).
Użycie najłatwiej wziąć z paneli administracyjnych: tygodniowo aktywni użytkownicy jako odsetek wykupionych licencji i ilu z nich wraca miesiąc po miesiącu, czyli retencja. Głębokość wymaga trochę więcej pracy: przy ilu różnych zadaniach ludzie używają AI i czy AI jest częścią zdefiniowanego procesu (odpowiedzi w obsłudze klienta, szkice ofert), czy tylko doraźnym czatem. Efekty interesują zarząd i wymagają punktu wyjścia: czas obsługi przed i po, odsetek błędów albo poprawek oraz koszt zadania razem z czasem ludzi sprawdzających wyniki.
Liczba licencji to metryka próżności. „Wdrożyliśmy 500 licencji” mówi, co kupiono, a nie co jest używane. Liczba promptów też myli, bo intensywne użycie może oznaczać narzędzie wymagające wielu poprawek. Raportuj trzy warstwy razem, per zespół, co miesiąc; wtedy efekty zasilają ROI, a zespoły ze słabym użyciem pokazują, gdzie skierować ambasadorów AI albo szkolenia.
Powiązane hasła
- Koszt zadania (ekonomia agentów): Ile naprawdę kosztuje jedno skończone zadanie agenta: tokeny, ponowienia, wywołania narzędzi i czas człowieka na przegląd, w porównaniu z innym sposobem.
- ROI wdrożenia AI (zwrot z inwestycji): To, co wdrożenie AI oddaje w stosunku do tego, ile kosztowało: korzyść minus pełny koszt, podzielone przez ten koszt, w ustalonym okresie.
- Retencja: Odsetek użytkowników, którzy wracają i znowu korzystają z produktu w kolejnych tygodniach albo miesiącach, zwykle pokazywany per kohorta rejestracji.
- Ambasadorzy AI (AI champions): Pracownicy w każdym zespole, którzy pierwsi testują narzędzia AI, zbierają to, co działa, i uczą kolegów, mając na to zarezerwowany czas i kontakt z centralnym zespołem AI.
- Wskaźnik aktywacji (activation rate): Odsetek nowych użytkowników, którzy w określonym czasie dochodzą do pierwszego prawdziwego użycia produktu.
- Kryteria sukcesu pilota (exit criteria): Mierzalne warunki uzgodnione przed startem pilota, które rozstrzygają, czy pilot się udał i kupujący przechodzi do pełnej umowy.
