Coraz więcej firm i urzędów chce korzystać z AI, ale nie może wysyłać dokumentów do zewnętrznej chmury. Chodzi o dane pacjentów, tajemnicę przedsiębiorstwa albo dane mieszkańców. Rozwiązaniem jest model językowy uruchomiony lokalnie, a w polskich realiach pierwsze nazwy, które padają, to Bielik i PLLuM. Wyjaśniamy, czym są, na czym działają i jak sprawdzić, czy poradzą sobie z Twoimi dokumentami.
Czym są Bielik i PLLuM?
Bielik
Bielik to polski model językowy rozwijany przez otwarty projekt SpeakLeash we współpracy z ACK Cyfronet AGH. Najbardziej znana jest wersja z 11 miliardami parametrów, zbudowana na bazie modelu Mistral 7B i dotrenowana na dużym zbiorze polskich tekstów. Kolejne wersje oraz ich odchudzone (skwantyzowane) warianty są dostępne w serwisie Hugging Face.
PLLuM
PLLuM (Polish Large Language Model) powstał w konsorcjum instytucji naukowych, któremu przewodzi Politechnika Wrocławska. Współtworzyły go m.in. NASK, Instytut Podstaw Informatyki PAN, Ośrodek Przetwarzania Informacji, Uniwersytet Łódzki i Instytut Slawistyki PAN. Model jest dostępny w kilku rozmiarach, od 8 do 70 miliardów parametrów, i udostępniony do zastosowań naukowych, w administracji i w biznesie.
Dlaczego model lokalny, a nie ChatGPT?
- Dane zostają w firmie. Dokumenty przetwarza serwer, który kontrolujesz, a nie usługa zewnętrznego dostawcy.
- Łatwiej spełnić wymagania. RODO, tajemnica zawodowa czy wymóg, żeby dane nie opuszczały UE, są prostsze do udowodnienia, gdy wiesz, gdzie fizycznie działa model.
- Przewidywalne koszty. Płacisz za sprzęt albo hosting, a nie za każde zapytanie.
- Możliwość douczenia. Model open-weights można dostroić do własnych dokumentów i słownictwa.
Są też minusy. Lokalny model trzeba utrzymywać, a najmocniejsze modele komercyjne w wielu zadaniach nadal są lepsze. Dlatego często łączymy oba podejścia: dane wrażliwe przetwarza model lokalny, a zadania bez danych osobowych mogą iść do API.
Jaki sprzęt jest potrzebny?
O wymaganiach decyduje głównie rozmiar modelu i to, czy używasz wersji skwantyzowanej, czyli zapisanej z mniejszą precyzją. Orientacyjnie:
| Rozmiar modelu | Przykłady | Na czym ruszy |
|---|---|---|
| 7–12 mld parametrów | Bielik 11B, PLLuM 8B, Llama 3.1 8B | Karta graficzna z kilkunastoma GB pamięci (wersja 4-bitowa). Do prób wystarczy mocniejszy komputer. |
| ok. 70 mld parametrów | PLLuM 70B, Llama 3.3 70B | Serwer z kilkudziesięcioma GB pamięci GPU albo hosting GPU w UE. |
Do uruchomienia modelu służą narzędzia takie jak Ollama czy llama.cpp, wygodne do prób na jednym komputerze, oraz vLLM, które lepiej sprawdza się na serwerze obsługującym wielu użytkowników naraz.
Jak zacząć: od testu, nie od zakupu serwera
- Wybierz jedno zadanie. Np. odpowiadanie na pytania z regulaminów, streszczanie pism albo wyciąganie danych z formularzy.
- Zbierz próbkę dokumentów. Kilkadziesiąt prawdziwych przykładów i odpowiedzi, które uznasz za poprawne.
- Porównaj kilka modeli. Ten sam zestaw zadań dla Bielika, PLLuM, Llamy czy Qwena. Liczy się wynik na Twoich danych.
- Dopiero potem dobierz sprzęt. Gdy wiesz, który model wygrywa, wiesz też, ile pamięci GPU potrzebujesz.
Tak pracujemy przy naszych wdrożeniach. W jednym z projektów porównaliśmy trzy modele na tych samych dziesięciu prawdziwych dokumentach: Llama 3.3 70B poradziła sobie z 6 z nich, Mistral Small 24B i gpt-oss-20b z 5. Różnice, których nie widać w ogólnych rankingach, wychodzą dopiero na konkretnych danych.
Sam model to nie wszystko
Model językowy to tylko jeden element. Żeby AI odpowiadało na podstawie Twoich dokumentów, potrzebujesz jeszcze wyszukiwarki, która znajdzie właściwe fragmenty (tzw. RAG), odczytu skanów (OCR), kontroli dostępu i panelu dla użytkowników. Przy dokumentach krytycznych dochodzą twarde reguły sprawdzające, zapisane jako kod, bo modele językowe czasem się mylą. Opisujemy to na przykładach w naszej ofercie AI na lokalnych modelach.
A urzędy?
Samorządy mają te same potrzeby co firmy, tylko wymagania są jeszcze ostrzejsze: dane mieszkańców, RODO, AI Act i NIS2. Model uruchomiony na serwerze urzędu albo w kontrolowanym hostingu w Polsce pozwala korzystać z AI bez wysyłania dokumentów na zewnątrz. Z myślą o urzędach zbudowaliśmy SamorzadAI.
Podsumowanie
Bielik i PLLuM to dobry punkt startu dla każdego, kto chce korzystać z AI po polsku, nie wysyłając danych poza firmę. Nie zakładaj jednak z góry, że polski model będzie najlepszy. Zacznij od testu na własnych dokumentach, porównaj kilka modeli i dopiero wtedy kupuj sprzęt. Jeśli chcesz, przeprowadzimy taki test z Tobą w ramach wdrożenia AI na lokalnych modelach.
