Lokalny model językowy
Model językowy działający na sprzęcie, który kontrolujesz, zamiast w API dostawcy, żeby dokumenty zostały tam, gdzie zdecydujesz.
Otwarte modele można uruchomić na własnym serwerze, stacji roboczej albo u dostawcy w Twoim regionie. Wymieniasz wygodę i jakość największych modeli w chmurze na kontrolę nad tym, dokąd trafiają dane, i stały koszt. Czy model się zmieści, zależy od jego wielkości i kwantyzacji; jak szybko odpowiada, głównie od przepustowości pamięci.
Powiązane hasła
- Kwantyzacja: Zapisanie wag modelu na mniejszej liczbie bitów, żeby potrzebował mniej pamięci i działał szybciej, kosztem niewielkiej jakości.
- RAG (retrieval-augmented generation): Najpierw wyszukanie pasujących dokumentów i włożenie ich do promptu, żeby model odpowiadał na ich podstawie.
- Tokeny: Kawałki tekstu, które model czyta i pisze, i jednostka, za którą płacisz.
