Kwantyzacja
Zapisanie wag modelu na mniejszej liczbie bitów, żeby potrzebował mniej pamięci i działał szybciej, kosztem niewielkiej jakości.
Model zapisany w 16 bitach na wagę potrzebuje około dwóch bajtów na parametr. Popularne formaty 4-bitowe potrzebują mniej więcej jednej trzeciej tego, i dlatego średnie otwarte modele mieszczą się na jednej stacji roboczej. Potrzebna pamięć to mniej więcej parametry razy bity na wagę podzielone przez osiem, plus miejsce na kontekst.
Powiązane hasła
- Lokalny model językowy: Model językowy działający na sprzęcie, który kontrolujesz, zamiast w API dostawcy, żeby dokumenty zostały tam, gdzie zdecydujesz.
- Tokeny: Kawałki tekstu, które model czyta i pisze, i jednostka, za którą płacisz.
- Routing i fallback modeli: Kierowanie każdego zapytania do modelu, który do niego pasuje, i do innego, gdy pierwszy zawiedzie.
