Darmowe narzędzie
Model językowy na własnym sprzęcie czy API?
Kancelarie, biura rachunkowe, przychodnie i zakłady pytają o to samo: czy da się używać AI na naszych dokumentach bez wysyłania ich na zewnątrz? Wybierz model, sprzęt i to, ile pyta Twój zespół, a zobaczysz, czy się zmieści, jak szybko odpowie i ile kosztuje w porównaniu z API.
Gdzie leżą Twoje dane
| Opcja | Dokąd trafiają dokumenty | Kto to prowadzi |
|---|---|---|
| Własny sprzęt | Zostają w Twoim biurze albo serwerowni | Ty (albo ja, na umowie) |
| Model u dostawcy w UE | Centrum danych w UE, na umowie, którą podpisujesz | Dostawca i Ty |
| Publiczne API | Serwery dostawcy, na jego warunkach i ustawieniach danych | Dostawca |
Jak liczymy
Pamięć: parametry × bity na wagę ÷ 8, z bitami zmierzonymi w llama.cpp, plus 10% i 2 GB na kontekst i środowisko oraz 16 GB zostawione dla systemu. Szybkość: generowanie tekstu ogranicza przepustowość pamięci (Databricks), więc tokeny na sekundę ≈ przepustowość ÷ rozmiar modelu × 60%. Narzuty i 60% to moje założenia. Przeczytanie długiego wejścia przed pierwszym słowem dodaje sekundy, których ten prosty model nie liczy.
Liczby o sprzęcie
Pamięć i przepustowość pochodzą od producentów: AMD podaje dla Ryzen AI Max+ 395 pamięć 256-bit LPDDR5x-8000, czyli 256 GB/s, i do 128 GB; Apple podaje 614 GB/s dla M5 Max z 40-rdzeniowym GPU i 1,2 TB/s dla M5 Ultra, do 512 GB. Ceny, pobór prądu i ceny API to przykłady. Wpisz własną ofertę.
Kiedy lokalnie ma sens
Rzadko z powodu samych kosztów: zapracowany zespół zapłaci za API mniej niż za prąd i sprzęt własnej maszyny. Ma sens, gdy dokumenty nie mogą wyjść z firmy, gdy potrzebujesz pracy bez internetu albo gdy chcesz polski model, taki jak Bielik, nad którym masz kontrolę.
Pytania
Czy da się używać AI na naszych dokumentach bez wysyłania ich na zewnątrz?
Tak. Model na własnym sprzęcie albo u dostawcy w UE, z wyszukiwaniem w Twoich dokumentach (RAG), odpowiada na pytania, a dokumenty nie opuszczają wybranej przez Ciebie infrastruktury.
Czy Bielik wystarczy?
Dla tekstów po polsku to mocny otwarty model, a wersja 11B mieści się swobodnie na maszynie ze 128 GB. Czy wystarczy, zależy od Twoich pytań: przetestuj go na 30 do 50 prawdziwych, zanim zdecydujesz.
Co to jest kwantyzacja?
Zapisanie wag modelu na mniejszej liczbie bitów. Model 4-bitowy potrzebuje około jednej trzeciej pamięci 16-bitowego i działa szybciej, kosztem niewielkiej straty jakości.
Czy możesz to dla nas uruchomić?
Tak: sprzęt albo dostawca w UE, model, wyszukiwanie w Twoich dokumentach, prosty panel i zestaw testowy, który mierzy, jak często odpowiedzi są trafne. Konfigurator pokaże cenę i termin.
Źródła
- llama.cpp, quantize README (bits per weight: Q4_K_M 4.89, Q5_K_M 5.70, Q8_0 8.50, F16 16.0)
- Databricks, “LLM Inference Performance Engineering: Best Practices” (decoding is memory-bound)
- AMD, Ryzen AI Max+ 395 specifications (256-bit LPDDR5x-8000, up to 128 GB)
- Apple, Mac Studio technical specifications (M5 Max up to 614 GB/s, M5 Ultra 1.2 TB/s, up to 512 GB)
- SpeakLeash on Hugging Face (Bielik 11B v3 and Minitron 7B v3)
Chcesz AI na swoich dokumentach, z danymi tam, gdzie zdecydujesz?
Uruchamiam model, wyszukiwanie w Twoich dokumentach i panel dla zespołu, mierzę, jak często odpowiada trafnie, i opiekuję się tym później.
