Temperatura (niedeterminizm LLM)
Ustawienie, które steruje losowością wyboru słów przez model; nawet przy zerze odpowiedzi mogą różnić się między uruchomieniami.
Niska temperatura daje odpowiedzi bardziej skupione i powtarzalne, wysoka bardziej różnorodne. Grupowanie zapytań i różnice sprzętu po stronie dostawcy sprawiają, że to samo zapytanie może i tak zwrócić inny tekst, a niektóre modele rozumujące same ustalają to ustawienie. Dlatego testy odpowiedzi modelu nie mogą porównywać tekstu dokładnie: sprawdzaj własności, uruchamiaj każdy przypadek kilka razy i waliduj strukturę schematami.
Powiązane hasła
- Ewaluacje (evals): Powtarzalny zestaw testów, który ocenia funkcję AI, żeby zmiany mierzyć, a nie zgadywać.
- Regresja promptu: Odpowiedź, która była dobra, psuje się po zmianie promptu albo modelu.
- Ustrukturyzowane odpowiedzi (structured outputs): Odpowiedź modelu jest ograniczona do zgodności z podanym schematem JSON.
