Indeksowanie dokumentów
Indeksowanie dokumentów to nadawanie dokumentom - najczęściej skanom - uporządkowanych danych opisowych, po których można je potem odnaleźć: numeru, daty, kontrahenta, typu, numeru sprawy. Indeks może wpisać człowiek, odczytać OCR albo pobrać integracja z innym systemem. Bez indeksowania zeskanowany dokument jest tylko obrazem w folderze, którego nie da się wyszukać ani powiązać ze sprawą.
Indeks, metadane i pełny tekst - jak to się łączy
Słowo „indeksowanie” ma w obiegu dokumentów dwa znaczenia. Pierwsze to nadawanie dokumentowi pól indeksowych - zestawu najważniejszych metadanych, po których będzie wyszukiwany i przypisywany do sprawy. Dla faktury są to numer, data, NIP i kwota, dla umowy strony, data i numer, dla pisma nadawca, data wpływu i znak sprawy. Drugie znaczenie to budowa indeksu wyszukiwarki pełnotekstowej, która przetwarza całą treść dokumentu. Oba mechanizmy się uzupełniają: pola indeksowe dają precyzyjne filtry, pełny tekst pozwala znaleźć to, czego nikt nie wpisał w polu. Zestaw pól definiuje się osobno dla każdego typu dokumentu i powinien być krótki - każde dodatkowe pole to koszt przy każdym dokumencie.
Metody indeksowania
- Ręczne - pracownik wpisuje pola w formularzu rejestracji. Najwolniejsze i najbardziej podatne na literówki, ale czasem jedyne możliwe.
- Półautomatyczne - słowniki z podpowiedziami, kody kreskowe na dokumentach, naklejki z numerem, które skaner odczytuje i wpisuje sam.
- Automatyczne z OCR i AI OCR - system odczytuje pola z treści, klasyfikuje dokument i oznacza wartości niepewne do sprawdzenia.
- Z integracji - dane pobierane z ERP, systemu kadrowego lub z pliku faktury ustrukturyzowanej z KSeF.
- Wsadowe - przy masowym skanowaniu kartki rozdzielające i kody oddzielają dokumenty, a indeks powstaje dla całej partii naraz.
Indeksowanie skanów w projektach digitalizacji
Przy digitalizacji archiwum indeksowanie bywa droższe niż samo skanowanie, bo przy każdym dokumencie wymaga odczytu lub decyzji. Dlatego pierwszą decyzją jest zestaw pól: zwykle wystarczą numer teczki lub sprawy, data i typ dokumentu, a resztę załatwia wyszukiwanie pełnotekstowe po OCR. Praca idzie partiami: pudło, skan, OCR, indeks, walidacja próbki, przekazanie do archiwum elektronicznego. Jakość skanu decyduje o skuteczności automatycznego odczytu, a walidacja formatów - NIP, daty, numery - wychwytuje błędy przed zapisem. Cały proces opisuje przewodnik po digitalizacji dokumentów. W elektronicznym archiwum dokumentów, które e-MSI wdraża na platformie JobRouter, pola odczytuje automatycznie moduł IDR, a rozpoznawanie kodów kreskowych pozwala na wstępną indeksację dokumentu już przy starcie procesu. Publiczne opisy obejmują między innymi automatyczną archiwizację papierowych dyspozycji klientów w Lubuskim Banku Spółdzielczym. IDR odczytuje tam z dyspozycji numer rachunku, a gdy odczyt się nie uda, dokument trafia do pracownika do uzupełnienia.
Dobre praktyki indeksowania dokumentów
- Słowniki zamiast wolnego tekstu: kontrahent z listy, typ dokumentu z listy, sprawa z rejestru.
- Krótkie minimum pól obowiązkowych i pola opcjonalne dla tych, którzy mają czas.
- Walidacja formatów przy wpisywaniu: błędny NIP nie przechodzi dalej.
- Indeks w systemie, nigdy w nazwie pliku.
- Unikalny identyfikator dokumentu nadawany automatycznie.
- Indeksowanie raz, przy wejściu dokumentu do systemu, a nie „potem, jak będzie czas”.
- Kontrola jakości na próbce po każdej partii i poprawki zanim partia trafi do archiwum.
Najczęstsze błędy przy indeksowaniu dokumentów
- Indeks w nazwie pliku - „faktura_kowalski_marzec.pdf” zamiast pól w systemie.
- Zapis wartości odczytanych automatycznie bez sprawdzenia tych, które system oznaczył jako niepewne.
- Różne zestawy pól dla tego samego typu dokumentu w różnych działach, przez co filtr działa tylko na część archiwum.
- Skany bez OCR, więc wyszukiwanie pełnotekstowe ich nie widzi.
- Zaległości w indeksowaniu, które rosną szybciej, niż ktokolwiek je nadrabia.
Przykłady zastosowania
Kancelaria skanuje poranną korespondencję. Moduł IDR odczytuje nadawcę, datę pisma i rodzaj dokumentu, a pracownik tylko potwierdza indeks i dekretuje pismo.
Księgowość skanuje faktury wsadowo. Każda ma naklejkę z kodem kreskowym, skaner rozdziela dokumenty po kodach, a OCR odczytuje numer, NIP i kwotę.
Firma digitalizuje umowy z piętnastu lat. Indeks ograniczono do numeru umowy, kontrahenta i daty, a szczegółowe wyszukiwanie zapewnia OCR i pełny tekst.
Bank indeksuje dyspozycje klientów numerem rachunku odczytanym z dokumentu i datą, dzięki czemu każda dyspozycja jest odnajdywana w sekundy przy reklamacji.
Po każdej partii skanów kontroler sprawdza próbkę dokumentów: porównuje indeks z obrazem i cofa partię do poprawy, jeśli błędów jest zbyt wiele.
Najczęstsze pytania
Na czym polega indeksowanie dokumentów?
Na nadaniu dokumentowi danych, po których można go potem znaleźć i powiązać z innymi: numeru, daty, kontrahenta, typu, numeru sprawy. Indeks wpisuje człowiek, odczytuje OCR albo pobiera integracja z innym systemem. Pola indeksowe zapisuje się razem z plikiem, dzięki czemu dokument daje się filtrować, raportować i kierować do właściwego procesu.
Czym indeksowanie różni się od OCR?
OCR zamienia obraz na tekst, indeksowanie nadaje dokumentowi uporządkowane pola. OCR jest najczęściej narzędziem indeksowania: z odczytanego tekstu system wyciąga numer faktury czy datę i wpisuje je w pola. Można indeksować bez OCR - ręcznie - i uruchomić OCR bez indeksowania, tylko dla wyszukiwania w treści.
Jakie pola indeksować?
Tylko te, po których dokumenty będą naprawdę wyszukiwane i kierowane: dla faktury numer, data, NIP, kwota, dla pisma nadawca, data wpływu i znak sprawy. Reszta może zostać w pełnym tekście. Każde dodatkowe pole obowiązkowe to koszt przy każdym dokumencie i pokusa, żeby wpisać byle co.
Czy indeksowanie można zautomatyzować?
W dużej części tak: AI OCR odczytuje pola z treści i klasyfikuje dokument, integracje pobierają dane z ERP i KSeF, a kody kreskowe rozdzielają partie skanów. Człowiek sprawdza wartości oznaczone jako niepewne i obsługuje dokumenty nietypowe. Pełna automatyzacja bez kontroli prowadzi do błędów w archiwum.
Od czego zależy koszt indeksowania przy digitalizacji archiwum?
Od liczby pól, jakości dokumentów i stopnia automatyzacji. Każde pole wpisywane ręcznie mnoży koszt przez liczbę dokumentów, dlatego projekty digitalizacji ograniczają indeks do minimum i opierają wyszukiwanie na pełnym tekście. Dobrze zeskanowane, jednolite dokumenty indeksują się automatycznie znacznie taniej.
Czym pole indeksowe różni się od metadanej?
Każde pole indeksowe jest metadaną, ale nie każda metadana jest polem indeksowym. Metadane to wszystkie dane o dokumencie, także status, historia akceptacji czy suma kontrolna dopisywane w trakcie obiegu. Pola indeksowe to ich krótki, wybrany zestaw nadawany przy wejściu dokumentu, po którym się go wyszukuje i przypisuje do sprawy.
Powiązane hasła
Zobacz, jak wygląda to w systemach, które wdrażamy w polskich firmach.
