LLM – duży model językowy
LLM (large language model, duży model językowy) to model sztucznej inteligencji wytrenowany na ogromnych zbiorach tekstu, który przewiduje kolejne słowa i potrafi streszczać, tłumaczyć, klasyfikować, odpowiadać na pytania i pisać teksty. Przykłady to modele stojące za ChatGPT, Claude czy Gemini. W obiegu dokumentów LLM czyta pisma i umowy, wyciąga z nich informacje i przygotowuje odpowiedzi, ale decyzję zostawia człowiekowi.
Jak działa duży model językowy
LLM to sieć neuronowa o architekturze transformer, wytrenowana na tekstach liczonych w miliardach, a w największych modelach w bilionach słów: stronach internetowych, książkach, dokumentacji, kodzie. W czasie treningu model uczy się jednego zadania - przewidywać kolejny fragment tekstu (token) na podstawie poprzednich. Okazuje się, że żeby robić to dobrze, musi „nauczyć się” gramatyki, faktów, stylu i logiki rozumowania widocznej w tekstach. Po treningu podstawowym model jest dostrajany na przykładach rozmów i ocenach ludzi, dzięki czemu odpowiada na polecenia zamiast tylko dopisywać tekst. Model nie rozumie świata tak jak człowiek: operuje statystyką języka, dlatego bywa pewny siebie także wtedy, gdy się myli. Ilość tekstu, którą przyjmuje naraz, ogranicza tzw. okno kontekstu.
Co LLM robi dobrze, a czego nie
Dobrze: streszcza długie dokumenty, klasyfikuje pisma według treści, wyciąga z tekstu pola i daty, tłumaczy, pisze szkice odpowiedzi, odpowiada na pytania o dokumenty, które dostał w kontekście, i przekształca tekst z jednej formy w drugą. Źle: podaje fakty, których nie ma w dostarczonych materiałach (halucynacje), liczy, zna wydarzenia po dacie zakończenia treningu, podejmuje decyzje niosące odpowiedzialność i odróżnia ważne od nieważnego w cudzej firmie bez wskazówek. Z tego wynika prosta zasada: LLM dostaje dokumenty, a nie pytania o świat, i pracuje pod nadzorem człowieka tam, gdzie wynik ma skutki.
LLM w obiegu dokumentów: RAG, agenci, człowiek w pętli
- RAG (retrieval-augmented generation): model odpowiada na podstawie dokumentów firmy wyszukanych do pytania - regulaminów, umów, procedur - i wskazuje źródło.
- Klasyfikacja i ekstrakcja: rozpoznanie typu pisma, wyciągnięcie stron, dat i kwot z umowy, uzupełnienie tego, czego nie odczytał AI OCR.
- Streszczenie przed decyzją: akceptujący dostaje jedną stronę zamiast sześćdziesięciu, z listą ryzyk do sprawdzenia.
- Szkice odpowiedzi: na pismo, reklamację, zapytanie - do redakcji i zatwierdzenia przez pracownika.
- Agenci AI: model wykonuje kilka kroków po kolei, na przykład sprawdza kontrahenta, porównuje fakturę z umową i przygotowuje rekomendację.
W rozwiązaniach e-MSI model osadzony jest wewnątrz procesu na platformie JobRouter®, która zarządza przepływem informacji między agentami AI korzystającymi z modeli językowych a pracownikami. Model klasyfikuje dokument, wyodrębnia informacje, porównuje dane lub przygotowuje podsumowanie, workflow sprawdza wynik według reguł, a decyzje wymagające odpowiedzialności podejmuje człowiek - to podejście opisane szerzej na stronie AI w procesach biznesowych.
Bezpieczeństwo danych w LLM i wybór modelu
Dokumenty firmowe zawierają dane osobowe i tajemnice, więc pierwsze pytanie brzmi: dokąd trafia tekst. Przy modelach chmurowych potrzebna jest umowa powierzenia przetwarzania, zapis, że dane nie posłużą do trenowania modelu, i jasna lokalizacja serwerów - najlepiej w Europejskim Obszarze Gospodarczym, a poza nim tylko z zabezpieczeniami transferu wymaganymi przez RODO. Alternatywą są modele otwarte uruchamiane na własnej infrastrukturze, w tym modele rozwijane z myślą o języku polskim, jak Bielik. Dobrą praktyką jest anonimizacja dokumentów przed wysłaniem do modelu, logowanie zapytań oraz ocena, czy zastosowanie nie wchodzi w kategorię wysokiego ryzyka według AI Act - tak bywa w procesach kadrowych, na przykład przy rekrutacji. Obowiązki dla takich systemów stosuje się od 2 grudnia 2027 r.
Pojęcia związane z LLM, które warto znać
- Token - fragment tekstu, jednostka, którą model przetwarza i za którą płaci się w usługach chmurowych.
- Okno kontekstu - maksymalna ilość tekstu, jaką model przyjmuje w jednym zapytaniu.
- Prompt - polecenie i materiały przekazane modelowi.
- Halucynacja - odpowiedź brzmiąca wiarygodnie, ale niezgodna z faktami lub z dostarczonymi dokumentami.
- Fine-tuning - dostrojenie modelu na własnych przykładach.
- Embedding - liczbowa reprezentacja tekstu używana do wyszukiwania znaczeniowego w RAG.
Przykłady zastosowania
Do kancelarii wpływa pismo bez wskazanego adresata. LLM czyta treść, klasyfikuje je jako reklamację dotyczącą faktury i proponuje dekretację do działu finansowego, którą sekretariat zatwierdza jednym kliknięciem.
Przed akceptacją sześćdziesięciostronicowej umowy dyrektor dostaje streszczenie: strony, kwoty, terminy wypowiedzenia, kary umowne i trzy zapisy odbiegające od standardu firmy.
Kontrahent z Niemiec przysyła aneks do umowy po niemiecku. LLM przygotowuje robocze tłumaczenie na polski i wypisuje zmiany względem poprzedniej wersji, a prawnik sprawdza tłumaczenie przed akceptacją aneksu.
Faktura za usługi serwisowe ma nietypowy, wielopoziomowy układ pozycji. LLM interpretuje tabelę, której AI OCR nie rozpoznał, i wypełnia pozycje do weryfikacji przez księgową.
Kadry dostają kilkaset odpowiedzi z ankiety pracowniczej pisanych swobodnym tekstem. LLM grupuje je w tematy i streszcza, a kadrowa sprawdza wnioski na próbce oryginalnych odpowiedzi, zanim trafią do zarządu.
Najczęstsze pytania
Co to znaczy LLM?
LLM to skrót od large language model, czyli duży model językowy. To program, który przeczytał ogromną ilość tekstu i nauczył się przewidywać kolejne słowa, dzięki czemu rozmawia, streszcza, tłumaczy i pisze. Nie zna Twojej firmy - wie tylko to, co mu pokażesz w zapytaniu. W edukacji prawniczej podobny skrót LL.M. oznacza stopień Master of Laws.
Czym się różni LLM od AI?
AI, czyli sztuczna inteligencja, to cała dziedzina, a LLM to jeden rodzaj modeli AI, wyspecjalizowany w tekście. Każdy LLM jest więc sztuczną inteligencją, ale nie każda AI jest LLM. Do AI należą też systemy rozpoznające obraz, prognozujące sprzedaż czy wykrywające nadużycia w płatnościach, które nie korzystają z modeli językowych.
Czy ChatGPT jest LLM?
Nie całkiem. ChatGPT to aplikacja do rozmowy, a LLM to model, który pod nią działa - w tym przypadku model z rodziny GPT. Ten sam model może obsługiwać czat, wtyczkę w edytorze i krok w procesie obiegu dokumentów. Firmy korzystają z modeli przez API lub uruchamiają je u siebie, bez interfejsu czatu.
Czy LLM dobrze rozumie polski?
Duże modele ogólne radzą sobie z polskim dobrze, w tym z odmianą i stylem urzędowym, choć najlepsze wyniki osiągają po angielsku. Istnieją też modele dotrenowane na dużych zbiorach polskich tekstów, jak Bielik, które można uruchomić na własnej infrastrukturze.
Co to jest halucynacja LLM?
Odpowiedź, która brzmi pewnie i wiarygodnie, ale jest zmyślona: nieistniejący przepis, numer artykułu, kwota, której nie ma w dokumencie. Ryzyko ogranicza się, każąc modelowi odpowiadać wyłącznie na podstawie dostarczonych dokumentów i wskazywać źródło, oraz weryfikując wyniki przed użyciem.
Czy dane z dokumentów wysyłane do LLM są bezpieczne?
Zależy od modelu i umowy. Usługa chmurowa potrzebuje umowy powierzenia, zakazu uczenia na danych klienta i serwerów w UE albo zabezpieczeń transferu wymaganych przez RODO. Przy danych wrażliwych bezpieczniejszy jest model uruchomiony we własnej infrastrukturze albo anonimizacja dokumentów przed wysłaniem.
Powiązane hasła
Zobacz, jak wygląda to w systemach, które wdrażamy w polskich firmach.
