--- title: "Wdrożenia AI na lokalnych modelach (on-premise) | ASAPDevs" description: "Prywatne AI na Twoim serwerze albo w UE: czat na dokumentach (RAG), OCR pisma ręcznego, wyciąganie danych. Llama, Qwen, Bielik, PLLuM i inne modele." url: https://asapdevs.it/offers/lokalne-modele-ai --- # AI na lokalnych modelach, dane zostają u Ciebie Budujemy systemy AI, które działają na Twoim serwerze albo w hostingu w Unii Europejskiej: czat na dokumentach, OCR skanów i pisma ręcznego, wyciąganie danych i weryfikację dokumentacji. Model dobieramy testem na Twoich dokumentach, a nie z rankingu. Dane nie opuszczają firmy ani UE Model dobrany testem na Twoich danych Douczanie modeli na Twoich przykładach Każdy model open-weights 0,25 s do pierwszego słowa odpowiedzi w systemie dokumentów 23 → 32 z 44 pól pisma ręcznego odczytanych po douczeniu modelu 66,4% dokładnych odczytów po douczeniu, wobec 28,8% na starcie 22/22 zaznaczeń na formularzach odczytanych poprawnie Czy to brzmi znajomo? ## Kiedy warto postawić na lokalny model AI? Dokumenty zawierają dane pacjentów, receptury albo tajemnice firmy i nie mogą trafić do publicznego ChatGPT. Dział prawny wymaga, żeby dane nie opuszczały Unii Europejskiej albo firmowego serwera. Połowa dokumentacji to skany i formularze wypełniane ręcznie. Zwykły OCR sobie z nimi nie radzi. Wiedza jest rozproszona w tysiącach PDF-ów i nikt nie potrafi szybko znaleźć odpowiedzi. Kontrola jakości ręcznie przegląda setki stron i szuka tych samych błędów w kółko. Nie wiesz, który model wybrać, bo rankingi w internecie nie mówią nic o Twoich dokumentach. Co budujemy ## Rozwiązania AI szyte na Twoje dokumenty ### Prywatny czat na dokumentach Asystent odpowiada na pytania na podstawie Twoich dokumentów (RAG) i podaje, skąd wziął odpowiedź. Działa na serwerze w firmie albo w UE. ### OCR i pismo ręczne Odczyt skanów, tabel i formularzy, także polskiego pisma ręcznego, zaznaczeń i skreśleń. Tam, gdzie gotowe modele nie wystarczają, douczamy je na Twoich danych. ### Wyciąganie danych Nazwy, daty, numery serii, dawki i kontrahenci trafiają z dokumentu do bazy albo systemu, zamiast być przepisywane ręcznie. ### Weryfikacja dokumentów Sprawdzanie kompletności i zgodności. Twarde reguły piszemy jako kod, a model językowy zajmuje się tym, czego regułą opisać się nie da. ### Tłumaczenie na żywo Rozpoznawanie mowy, tłumaczenie i drugi model, który sprawdza, czy w tłumaczeniu nic nie zginęło. ### Wyszukiwanie semantyczne Wyszukiwarka, która rozumie sens pytania, a nie tylko słowa kluczowe. Łączy wyszukiwanie pełnotekstowe z wektorowym. Wdrożenia ## Co już zbudowaliśmy Produkcja · branża medyczno-farmaceutyczna 0,25 s ### System dokumentów z AI, dane w UE Wyszukiwanie, czat i agent na dokumentach firmy. OCR skanów, rozpoznawanie nazw po polsku, odczyt zaznaczeń na formularzach. Model wybraliśmy testem na prawdziwych dokumentach: Llama 3.3 70B hostowana w UE, pierwszy token po 0,25 s. Pilotaż · biotechnologia 23 → 32 ### Przegląd dokumentacji produkcyjnej z pismem ręcznym Odczyt polskiego pisma ręcznego w dokumentacji serii produkcyjnej (GMP) i sprawdzanie jej regułami. Własne douczenie modelu OCR i Qwen na vLLM na serwerze z GPU. Dziś kontrola jakości poświęca na 100 stron około 6 godzin. Proof of concept · medycyna 95,8% ### Tłumaczenie konsultacji lekarskich na żywo Rozpoznawanie mowy, tłumaczenie i drugi model, który weryfikuje tłumaczenie. Zachował 95,8% kluczowych informacji przy opóźnieniu około 1,1 s i wyłapał oba celowo wprowadzone błędy, w tym złą dawkę leku. ### Pilotaż: dokumentacja produkcyjna z pismem ręcznym | Co mierzyliśmy | Wynik | | --- | --- | | Pismo ręczne, poprawnie odczytane pola | 23/44 → 32/44 | | Druk, poprawnie odczytane pola | 37/42 → 40/42 | | Dokładne dopasowanie po douczeniu (545 próbek) | 66,4% zamiast 28,8% | | Rozpoznanie struktury strony | 92% pól, ok. 10 s na stronę | | Zaznaczenia na formularzach | ok. 99% | Wyniki na próbce dokumentów klienta, przed i po douczeniu modeli OCR. Modele ## Wdrożymy każdy model Nie jesteśmy przywiązani do jednego dostawcy. Model dobieramy do zadania, sprzętu i wymagań dotyczących danych. ### Używaliśmy we wdrożeniach Llama 3.1 8BLlama 3.2 Vision 11BLlama 3.3 70BQwenMistral Smallgpt-ossdots.ocrPaddleOCRSuryaspaCyClaude ### Wdrożymy też BielikPLLuMGemmaDeepSeekPhiMixtralGPTGeminii każdy inny model open-weights Polskie modele, takie jak Bielik i PLLuM, trenowano z naciskiem na język polski. Llama i Qwen mają za sobą największą społeczność i narzędzia. Który wypadnie najlepiej u Ciebie, pokazuje dopiero test na Twoich dokumentach. W jednym z projektów porównaliśmy trzy modele na tych samych dziesięciu dokumentach i różnice były wyraźne. Modele uruchamiamy przez vLLM albo Ollamę, na Twoim serwerze z kartą graficzną albo w hostingu GPU w UE. Wokół modelu budujemy resztę systemu: wyszukiwarkę, bazę dokumentów, panel i integracje. Tak jak przy każdej [aplikacji webowej](https://asapdevs.it/offers/web-applications). Więcej o polskich modelach piszemy w poradniku [Bielik i PLLuM lokalnie](https://asapdevs.it/blog/bielik-pllum-polski-model-ai-lokalnie). Jak pracujemy ## Od próbki dokumentów do wdrożenia 01 ### Próbka dokumentów Dostajemy kilkadziesiąt prawdziwych dokumentów i ustalamy, co system ma z nimi robić i jak zmierzymy, czy działa. 02 ### Porównanie modeli Kilka modeli dostaje te same zadania. Wybieramy ten, który wypada najlepiej na Twoich danych, a nie w rankingu. 03 ### Pilotaż Działająca wersja na wybranym procesie. Mierzymy wyniki i pokazujemy, gdzie system się myli. 04 ### Wdrożenie Na Twoim serwerze albo w hostingu w UE. Integracja z systemami, konta i uprawnienia. 05 ### Rozwój Monitorujemy jakość odpowiedzi, douczamy modele na nowych przykładach i podmieniamy je, gdy pojawi się lepszy. FAQ ## Pytania o AI na lokalnych modelach ### Czy nasze dane trafią do OpenAI albo innej firmy? Nie, jeśli tego nie chcesz. Model działa na Twoim serwerze albo na serwerze w Unii Europejskiej, a dokumenty nie są wysyłane do zewnętrznych usług. Modele komercyjne stosujemy tylko tam, gdzie klient się na to zgadza. ### Jakiego sprzętu potrzebujemy? Zależy od modelu. Mniejsze modele (7–9 mld parametrów) działają na jednej karcie graficznej z 16–24 GB pamięci. Duże modele, np. 70 mld parametrów, wymagają mocniejszego serwera albo hostingu GPU w UE. Doradzimy po teście na Twoich dokumentach. ### Lokalny model czy ChatGPT? ChatGPT jest wygodny, ale dane wychodzą poza firmę. Model lokalny daje kontrolę nad danymi i kosztami, a przy dobrze dobranym zadaniu działa porównywalnie. Często łączymy oba podejścia: dane wrażliwe przetwarza model lokalny, reszta może iść do API. ### Czy wdrażacie polskie modele, takie jak Bielik i PLLuM? Tak. Wdrożymy każdy model open-weights, w tym Bielika i PLLuM. W naszych dotychczasowych wdrożeniach najlepiej wypadały Llama i Qwen, ale model zawsze wybieramy testem na Twoich dokumentach. ### Czy AI poradzi sobie z pismem ręcznym? Coraz lepiej, ale nie bezbłędnie. W pilotażu z polskim pismem ręcznym po douczeniu modelu poprawnie odczytane pola wzrosły z 23 do 32 na 44. Dlatego przy dokumentach krytycznych system wskazuje pola do sprawdzenia przez człowieka. ### Ile trwa pilotaż? Zależy od liczby dokumentów i procesów. Termin i zakres podajemy po rozmowie i przejrzeniu próbki dokumentów. Wycenę wysyłamy w ciągu 1–2 dni roboczych. ### Co jeśli model się myli? Mierzymy to od pierwszego dnia na Twoich danych. Twarde reguły, np. czy podpis jest na miejscu albo czy data mieści się w zakresie, sprawdza kod, a nie model. Tam, gdzie pewność jest niska, system oddaje decyzję człowiekowi. Bezpłatna konsultacja ## Opowiedz, co chcesz zrobić z dokumentami ![Kamil Perzowski, ASAPDevs](https://asapdevs.it/assets/img/kamil-asapdevs-112.webp) Kamil Perzowski CEO & Co-founder, ASAPDevs Odpisuję osobiście. Bez zobowiązań. ★★★★★ > Gorąco polecam! Profesjonalne podejście do klienta, pełne zaanagażowanie i pomysłowość! Pan Kamil sprawnie odpowiadał na wszelkie prośby i sugestie. Zlecenie wykonane zgodnie z moimi oczekiwaniami Marlena U., opinia w Google ★★★★★ > Współpracujemy już z 5 lat w różnych aspektach. Sam fakt, że nigdy nie przeszło mi przez myśl współpracować z inna firmą mówi o wszystkim Pełen profesjonalizm, terminowość, kreatywność, inicjatywy...długo by wymieniać. Wszystko się zgadza. Naprawdę polecam. Michał B., opinia w Google ## Zobacz też ### [Automatyzacja AI →](https://asapdevs.it/offers/automatyzacja-ai) Asystenci AI, voiceboty i automatyzacja procesów. ### [Agenci AI →](https://asapdevs.it/offers/agenci-ai) Agent na lokalnym modelu z dostępem do systemów firmy. ### [LLM hostowany w UE →](https://asapdevs.it/blog/llm-w-ue-porownanie-llama-gpt-oss-mistral) Llama, gpt-oss i Mistral w OVH: jakość, czas, koszt. ### [OCR dokumentów →](https://asapdevs.it/offers/ocr-dokumentow) Skany, pismo ręczne i zaznaczenia na formularzach. ## Z bloga ### [Jev na Cloudflare Workers AI: gdzie się sprawdził, a gdzie nie →](https://asapdevs.it/blog/jev-cloudflare-workers-ai-klasyfikacja) Trzy projekty, trzy wyniki. Jev oznacza tematy wiadomości w ASAPChat i wyłapał błędne kody EAN, ale do dokumentów, które nie mogą opuścić serwera, się nie nadał. Do tego przykład wywołania przez Cloudflare. ### [PaddleOCR i polskie znaki: dlaczego OCR gubi ą, ę i ł i jak to naprawić →](https://asapdevs.it/blog/paddleocr-polskie-znaki-diakrytyki) „przepisöw”, „dziataé”, „zrobié”: skąd biorą się takie błędy w PaddleOCR, jak zmierzyć jakość polskiego OCR bez przepisywania stron i co zmienia przejście na PP-OCRv5. ### [AI Act w praktyce: co musi zrobić firma, która wdraża AI →](https://asapdevs.it/blog/ai-act-w-praktyce) Czatbot, OCR, scoring kredytowy, selekcja CV: do której klasy ryzyka trafiają, od kiedy obowiązują przepisy i co przygotować od strony technicznej. [Wszystkie wpisy →](https://asapdevs.it/blog)