Fine-tuning (a RAG i prompt)
Dalsze trenowanie modelu na własnych przykładach, żeby przejął styl, format albo wąską umiejętność; słabo uczy go nowych faktów.
Zwykła kolejność to najpierw prompt (najtańszy, najszybszy do zmiany), potem RAG, gdy model potrzebuje wiedzy, której nie ma, a fine-tuning, gdy potrzebujesz stałego formatu albo tonu albo mniejszego, tańszego modelu do jednego wąskiego zadania. Wytrenowane fakty się starzeją i nie da się ich zacytować; dokumenty w RAG można zaktualizować jutro i podlinkować w odpowiedzi. Fine-tuning wymaga też kilkuset dobrych przykładów i zestawu ewaluacji, który pokaże, że pomógł.
Powiązane hasła
- RAG (retrieval-augmented generation): Najpierw wyszukanie pasujących dokumentów i włożenie ich do promptu, żeby model odpowiadał na ich podstawie.
- Lokalny model językowy: Model językowy działający na sprzęcie, który kontrolujesz, zamiast w API dostawcy, żeby dokumenty zostały tam, gdzie zdecydujesz.
- Ewaluacje (evals): Powtarzalny zestaw testów, który ocenia funkcję AI, żeby zmiany mierzyć, a nie zgadywać.
