NLP – przetwarzanie języka naturalnego
NLP (natural language processing), czyli przetwarzanie języka naturalnego, to dziedzina informatyki i sztucznej inteligencji, która pozwala komputerom czytać, rozumieć i tworzyć tekst w ludzkim języku. Dzięki NLP system rozpoznaje temat pisma, wyciąga z niego nazwiska, daty i kwoty, ocenia wydźwięk wiadomości, streszcza dokument albo tłumaczy go na inny język.
Jak działa przetwarzanie języka naturalnego
Język naturalny to ten, którym ludzie mówią i piszą - polski, angielski, niemiecki - w odróżnieniu od języków programowania. Jest wieloznaczny i pełen skrótów myślowych, dlatego komputer rozkłada tekst na warstwy i analizuje je po kolei.
- Normalizacja - ujednolicenie wielkości liter, znaków i zapisu dat.
- Tokenizacja - podział tekstu na słowa, liczby i znaki interpunkcyjne.
- Lematyzacja - sprowadzenie każdego słowa do formy podstawowej: „fakturze”, „fakturą” i „faktur” to formy jednego wyrazu „faktura”.
- Analiza gramatyczna - rozpoznanie części mowy, przypadków i zależności między słowami w zdaniu.
- Rozpoznawanie nazw własnych (NER) - wskazanie osób, firm, miejscowości, dat i kwot.
- Klasyfikacja i analiza wydźwięku - przypisanie tekstu do kategorii i ocena, czy jest neutralny, pozytywny czy negatywny.
Dawniej każdą warstwę obsługiwały reguły i słowniki pisane przez lingwistów. Potem przyszło uczenie maszynowe na przykładach, a dziś duże modele językowe (LLM) robią wiele z tych kroków naraz. LLM to więc nie alternatywa dla NLP, tylko jego najnowsze narzędzie.
Zastosowania NLP w firmie i urzędzie
- Kierowanie korespondencji - rozpoznanie, czy e-mail to reklamacja, zamówienie, faktura czy wniosek, i wysłanie go do właściwego działu.
- Wyciąganie danych z umów i pism - strony, terminy, kwoty, kary umowne.
- Anonimizacja - wyszukanie imion, nazwisk, adresów i numerów PESEL przed publikacją lub udostępnieniem dokumentu.
- Wyszukiwanie znaczeniowe - znalezienie dokumentu po sensie pytania, nie tylko po dokładnych słowach.
- Streszczenia, tłumaczenia i szkice odpowiedzi - przygotowanie materiału, który pracownik sprawdza i zatwierdza.
Dlaczego język polski jest trudny dla NLP
Polski ma bogatą odmianę: rzeczownik zmienia formę w siedmiu przypadkach, w liczbie pojedynczej i mnogiej, a nazwiska i nazwy firm też się odmieniają, więc „Kowalskiego”, „Kowalskiemu” i „Kowalski” trzeba powiązać z tą samą osobą. Szyk zdania jest swobodny, a w e-mailach często brakuje polskich znaków. Narzędzia trenowane głównie na angielskim gubią się w takich tekstach. Dlatego istnieją polskie zasoby, jak analizator fleksyjny Morfeusz rozwijany w Instytucie Podstaw Informatyki PAN, oraz modele językowe przygotowane z myślą o polszczyźnie, jak Bielik czy PLLuM.
NLP w rozwiązaniach e-MSI
W systemie IDR®, opracowanym przez e-MSI, analiza tekstu łączy się z OCR: system identyfikuje typ dokumentu, wyodrębnia kluczowe dane, sprawdza ich poprawność i uruchamia odpowiedni proces. Moduł klasyfikacji korespondencji analizuje treść wiadomości, tytuł, nadawcę i załączniki. Pozwala wybrać etapy przetwarzania tekstu - normalizację, tokenizację, lematyzację lub stemming - i algorytm klasyfikujący, korzystać ze słowników słów kluczowych i uczyć się na historycznej korespondencji. Korekty użytkowników poprawiają kolejne rozpoznania, a skuteczność widać we wskaźnikach takich jak accuracy i macierz pomyłek. W anonimizacji dokumentów e-MSI OCR i NLP rozpoznają treść, reguły i słowniki wskazują dane osobowe, a użytkownik akceptuje lub koryguje wykryte obszary przed utworzeniem wersji końcowej.
Na co uważać przy wdrażaniu NLP
- Jakość tekstu wejściowego - słaby skan to słaby OCR, a błędy OCR przechodzą dalej.
- Mierzenie skuteczności na własnych dokumentach, a nie na demonstracji dostawcy.
- Ścieżka dla niepewnych wyników - niski poziom pewności kieruje sprawę do człowieka.
- Słownictwo branżowe i skróty firmowe dopisane do słowników lub przykładów uczących.
- Dane osobowe w tekstach - przetwarzanie ich przez NLP podlega RODO jak każde inne.
- Aktualizacja modelu po zmianach w dokumentach i możliwość powrotu do poprzedniej wersji.
Przykłady zastosowania
Na adres biuro@ wpływa kilkaset wiadomości dziennie. System NLP rozpoznaje w treści i załącznikach reklamacje, zamówienia i faktury, po czym uruchamia dla każdej właściwy proces bez ręcznego sortowania.
Sąd rejonowy przygotowuje orzeczenia do publikacji. Rozpoznawanie nazw własnych znajduje imiona, nazwiska i adresy stron we wszystkich formach odmiany, a pracownik zatwierdza zakres anonimizacji.
Dział zakupów dostaje zapytania i oferty od dostawców z kilku krajów. NLP rozpoznaje język każdej wiadomości, wyciąga nazwę towaru, ilość, cenę i termin dostawy, a zakupowiec porównuje oferty w jednej tabeli.
Kierownik obsługi klienta dostaje codzienny raport z analizy wydźwięku zgłoszeń. Wiadomości z ostrym tonem i słowem „rezygnuję” trafiają na początek kolejki.
Kadrowa wpisuje w wyszukiwarkę „umowy zlecenia z Poznania z 2025 roku”. NLP rozumie sens zapytania i odnajduje dokumenty, w których te informacje zapisano innymi słowami.
Najczęstsze pytania
Co to jest przetwarzanie języka naturalnego (NLP)?
To dziedzina informatyki i sztucznej inteligencji, która uczy komputery rozumieć tekst pisany przez ludzi. System NLP rozbija zdania na słowa, rozpoznaje ich formy i znaczenie, a potem wykonuje zadanie: przypisuje pismo do kategorii, wyciąga dane, tłumaczy albo streszcza. Z NLP korzystasz, gdy telefon podpowiada słowa albo poczta odsiewa spam.
Czym NLP różni się od LLM?
NLP to cała dziedzina zajmująca się przetwarzaniem języka. LLM, czyli duży model językowy, to jedno z jej narzędzi - najnowsze i najbardziej wszechstronne. Wiele zadań NLP, jak lematyzacja czy wykrywanie numerów PESEL, taniej i przewidywalniej wykonują prostsze metody, reguły i słowniki.
Co to jest język naturalny?
To język, którym ludzie mówią i piszą na co dzień, na przykład polski, angielski czy niemiecki. Rozwinął się w naturalnej komunikacji, a nie został zaprojektowany jak język programowania. Jest wieloznaczny, pełen skrótów myślowych i odmian, dlatego komputer potrzebuje metod NLP, żeby go zrozumieć, podczas gdy kod programu ma ścisłe, jednoznaczne reguły.
Jakie są przykłady NLP w codziennym życiu?
Tłumacz internetowy, autokorekta i podpowiedzi w telefonie, filtr spamu w poczcie, asystenci głosowi, chatboty w sklepach i bankach, wyszukiwarka rozumiejąca pytanie zadane pełnym zdaniem. W firmie NLP sortuje korespondencję, wyciąga dane z umów i anonimizuje dokumenty.
Czy NLP dobrze radzi sobie z językiem polskim?
Coraz lepiej, choć polski jest trudniejszy od angielskiego przez bogatą odmianę i swobodny szyk zdania. Pomagają polskie zasoby, na przykład analizator fleksyjny Morfeusz z IPI PAN oraz modele Bielik i PLLuM. Skuteczność warto zawsze sprawdzić na własnych dokumentach.
Czy NLP to programowanie neurolingwistyczne?
Nie, to zbieżność skrótów. Programowanie neurolingwistyczne to koncepcja z obszaru komunikacji i coachingu, niezwiązana z informatyką. W IT i sztucznej inteligencji NLP zawsze oznacza natural language processing, czyli przetwarzanie języka naturalnego przez komputery.
Powiązane hasła
Zobacz, jak wygląda to w systemach, które wdrażamy w polskich firmach.
