Ekstrakcja danych
Ekstrakcja danych to wyodrębnianie konkretnych informacji ze źródła, w którym zapisano je w nieuporządkowanej postaci lub w formacie innego systemu - z faktury, umowy, e-maila, strony internetowej albo innego systemu - i zapisywanie ich jako uporządkowanych pól, takich jak NIP, kwota, data czy numer zamówienia, gotowych do użycia w bazie, ERP lub procesie.
Na czym polega ekstrakcja danych
Człowiek patrzy na fakturę i od razu widzi, kto ją wystawił, na ile i do kiedy trzeba zapłacić. System widzi obraz albo ciąg znaków. Ekstrakcja zamienia ten obraz lub tekst w rekord z nazwanymi polami, które da się zapisać, porównać i przekazać dalej. Źródła są trzy. Dokumenty - skany, zdjęcia, PDF-y, e-maile z załącznikami. Pliki i systemy, z których dane pobiera się eksportem, zapytaniem do bazy lub przez API. Strony internetowe, z których dane zbiera się automatycznie, co nazywa się web scrapingiem. W firmach najwięcej pracy daje pierwsza grupa, bo dane z dokumentów wciąż często przepisuje się ręcznie.
Ekstrakcja danych z dokumentów krok po kroku
- Pozyskanie - dokument przychodzi ze skrzynki e-mail, skanera, folderu lub innego systemu.
- Odczyt tekstu - OCR zamienia obraz na znaki, a PDF z warstwą tekstową czyta się bezpośrednio.
- Klasyfikacja - system rozpoznaje, czy to faktura, umowa, zamówienie czy pismo, bo od typu zależy, jakich pól szukać.
- Lokalizacja pól - szablon, reguły lub model AI wskazuje, gdzie jest numer, data, kwota, a gdzie tabela pozycji.
- Normalizacja - „1.234,50 zł” staje się liczbą, „3 marca 2026” datą, a NIP traci myślniki i spacje.
- Walidacja - sumy, cyfry kontrolne i zgodność z ERP wychwytują błędne odczyty.
- Przekazanie - gotowe pola trafiają do ERP, systemu księgowego lub procesu, a niepewne do sprawdzenia przez człowieka.
Faktury pobrane z KSeF to pliki XML o ustalonej strukturze FA(3), więc ekstrakcja sprowadza się do odczytu pól bez rozpoznawania obrazu. Faktury od zagranicznych dostawców bez polskiej siedziby, faktury od drobnych sprzedawców, którzy do końca 2026 r. mogą wystawiać je poza KSeF, a także umowy, pisma i załączniki nadal wymagają pełnej ścieżki.
Ekstrakcja a eksploracja danych i ETL
Ekstrakcja bywa mylona z eksploracją danych, czyli data miningiem. Eksploracja szuka wzorców i zależności w dużych zbiorach, na przykład które produkty klienci kupują razem. Ekstrakcja niczego nie odkrywa - wyciąga z dokumentu informacje, które w nim są, i nadaje im strukturę. Ekstrakcja to także pierwszy etap ETL (extract, transform, load): dane pobiera się z systemów źródłowych, przekształca i ładuje do hurtowni. W ETL źródłem są zwykle bazy i pliki, w obiegu dokumentów - pisma i faktury.
Ekstrakcja danych w rozwiązaniach e-MSI
e-MSI opracowało system IDR®, który pobiera dokumenty z maili, folderów, skanerów lub systemów firmowych, rozpoznaje ich typ i odczytuje kluczowe dane, takie jak kwoty, numery faktur czy dane kontrahentów. Algorytmy lokalizacyjne znajdują pola niezależnie od układu dokumentu, a po ekstrakcji dane przechodzą walidację. Odczytane informacje trafiają do ERP, systemów księgowych, platformy JobRouter® lub hurtowni danych przez REST API albo pliki CSV, JSON i XML. W obiegu faktur moduł JobOrderMatch korzysta z danych odczytanych przez IDR, by dopasować pozycje faktury do pozycji zamówienia lub przyjęcia towaru. IDR działa w chmurze lub lokalnie.
Na co uważać przy ekstrakcji danych
- Jakość skanu decyduje o wyniku bardziej niż wybór narzędzia - krzywy, ciemny skan to pewne poprawki.
- Tabele pozycji są najtrudniejsze, zwłaszcza gdy przechodzą na kolejną stronę.
- Wyciągaj tylko pola, których proces potrzebuje - zasada minimalizacji danych z RODO dotyczy też ekstrakcji, szczególnie PESEL i danych zdrowotnych.
- Każde pole powinno mieć poziom pewności, a pola niepewne - trafiać do człowieka.
- Mierz odsetek dokumentów przetworzonych bez poprawki na próbce własnych dokumentów, nie na danych z prezentacji.
Przykłady zastosowania
Dział zakupów dostaje fakturę od niemieckiego dostawcy jako PDF. System odczytuje numer VAT UE, pozycje, walutę i termin płatności, a proces obiegu faktury startuje z wypełnionymi polami.
Księgowość pobiera faktury z KSeF. Dane z plików XML trafiają wprost do pól rejestru zakupów, bez OCR i bez przepisywania.
Kancelaria prawna skanuje umowy najmu. Ekstrakcja wyciąga strony umowy, kwotę czynszu, datę końca umowy i okres wypowiedzenia do rejestru umów z przypomnieniem o terminie.
Urząd przyjmuje wnioski na papierowym formularzu. Po skanowaniu system odczytuje dane wnioskodawcy i numer działki, a referent sprawdza tylko pola oznaczone jako niepewne.
Hurtownia zestawia odczytane pozycje faktury dostawcy z pozycjami zamówienia w ERP. Różnica w cenie jednej pozycji zatrzymuje fakturę do wyjaśnienia, zanim trafi do zapłaty.
Najczęstsze pytania
Czym jest ekstrakcja danych?
To wyodrębnianie konkretnych informacji ze źródła - dokumentu, pliku, systemu lub strony internetowej - i zapisywanie ich jako uporządkowanych pól. Z faktury wyciąga się na przykład NIP, numer, daty, kwoty i pozycje, z umowy strony i terminy. Dzięki temu dane można użyć w ERP lub procesie bez przepisywania.
Na czym polega ekstrakcja danych?
Na zamianie dokumentu, pliku lub strony w rekord z nazwanymi polami. System pobiera dokument, odczytuje tekst (ze skanu za pomocą OCR), rozpoznaje typ dokumentu, znajduje pola, np. numer i kwotę, ujednolica ich format i sprawdza poprawność. Gotowe dane trafiają do ERP lub procesu, a niepewne do sprawdzenia przez człowieka.
Czym ekstrakcja danych różni się od eksploracji danych?
Ekstrakcja wyciąga informacje, które są w dokumencie lub systemie, i nadaje im strukturę. Eksploracja danych, czyli data mining, analizuje duże zbiory, żeby znaleźć wzorce, trendy i zależności, których wcześniej nie znano. Ekstrakcja zwykle poprzedza eksplorację - dostarcza uporządkowanych danych do analizy.
Jakie są przykłady ekstrakcji danych?
Typowe przykłady to odczyt z faktury NIP, numeru, dat, kwot i pozycji, wyciągnięcie z umowy najmu kwoty czynszu i daty końca umowy, pobranie danych wnioskodawcy z papierowego formularza oraz automatyczne zbieranie danych ze stron internetowych, czyli web scraping. Ekstrakcją jest też pierwszy etap ETL, w którym dane pobiera się z baz i systemów źródłowych.
Czy przy fakturach z KSeF ekstrakcja danych jest potrzebna?
Tak, ale prostsza. Faktura z KSeF to plik XML o ustalonej strukturze, więc dane odczytuje się z pól, bez rozpoznawania obrazu. Pełnej ekstrakcji z OCR nadal wymagają faktury od zagranicznych dostawców bez polskiej siedziby, faktury wystawione jeszcze poza KSeF przez drobnych sprzedawców, którzy mogą to robić do końca 2026 r., a także umowy, pisma, protokoły i załączniki do faktur.
Czy automatyczna ekstrakcja danych jest zgodna z RODO?
Może być, jeśli firma ma podstawę do przetwarzania danych z dokumentów, wyciąga tylko pola potrzebne w procesie i wie, gdzie działa narzędzie. Przy usłudze zewnętrznej potrzebna jest umowa powierzenia, a przy danych wrażliwych warto rozważyć instalację lokalną lub anonimizację.
Powiązane hasła
Zobacz, jak wygląda to w systemach, które wdrażamy w polskich firmach.
