Wyszukiwanie pełnotekstowe
Wyszukiwanie pełnotekstowe to przeszukiwanie całej treści dokumentów - nie tylko ich nazw i metadanych - po dowolnym słowie lub frazie, zwykle z uwzględnieniem odmiany wyrazów, literówek i bliskości słów. Działa dzięki indeksowi budowanemu z tekstu dokumentów, także tego odczytanego ze skanów przez OCR. W archiwum elektronicznym pozwala znaleźć umowę po nazwisku, klauzuli lub kwocie w kilka sekund.
Jak działa wyszukiwanie pełnotekstowe
System nie czyta dokumentów przy każdym zapytaniu. Zamiast tego buduje indeks: rozbija tekst każdego dokumentu na słowa, sprowadza je do formy podstawowej („fakturze”, „faktur” i „faktura” trafiają pod jedno hasło), pomija wyrazy nieznaczące i zapisuje, w których dokumentach i w jakim miejscu każde słowo występuje. Zapytanie użytkownika przechodzi tę samą obróbkę i jest porównywane z indeksem, a wyniki układają się według trafności - częstości słów, ich położenia i tego, czy tworzą frazę. Dobre silniki obsługują frazy w cudzysłowie, operatory AND, OR i NOT, symbole wieloznaczne oraz wyszukiwanie przybliżone, które wybacza literówki. Warunkiem jest, żeby dokument miał warstwę tekstową: skany muszą wcześniej przejść przez OCR.
Pełnotekstowe a wyszukiwanie po metadanych
Filtry po metadanych są precyzyjne: kontrahent równa się X, data między A i B, status „zaakceptowana”. Wyszukiwanie pełnotekstowe przydaje się wtedy, gdy nie wiemy, w którym polu szukać, albo gdy szukamy czegoś, czego nikt nie opisał metadaną - nazwiska w treści protokołu, numeru działki w decyzji, klauzuli w umowie. Najlepsze wyniki daje połączenie obu: „umowy z 2024 r. z kontrahentem X, w których występuje fraza «kara umowna»”.
Warunki skutecznego wyszukiwania pełnotekstowego
- Każdy skan przechodzi przez OCR w rozdzielczości pozwalającej rozpoznać tekst, z ustawionym językiem polskim.
- Indeks aktualizuje się automatycznie przy dodaniu, zmianie i usunięciu dokumentu.
- Silnik rozumie polską odmianę, żeby „umowa najmu” znalazła też „umowy najmu” i „umowie najmu”.
- Wyniki respektują uprawnienia: użytkownik nie widzi nawet tytułu dokumentu, do którego nie ma dostępu.
- Obsługiwane są wszystkie używane formaty: PDF, pliki biurowe, e-maile z załącznikami, XML z KSeF.
- Wydajność utrzymuje się przy milionach stron - indeks działa niezależnie od bazy procesów.
Wyszukiwanie pełnotekstowe w archiwum e-MSI
W elektronicznym archiwum dokumentów, które e-MSI wdraża na platformie JobRouter, dokumenty wyszukuje się zarówno po opisie, jak i po treści. Skany przechodzą przez OCR, więc fakturę sprzed dwóch lat da się znaleźć, wpisując w wyszukiwarkę model kupionego sprzętu. Moduł dokumentowy platformy obejmuje pełnotekstowe wyszukiwanie, kontrolę dostępu i podgląd dokumentów w przeglądarce. Publiczne opisy wdrożeń obejmują m.in. automatyczną archiwizację papierowych dyspozycji klientów w Lubuskim Banku Spółdzielczym. Tam moduł IDR odczytuje z zeskanowanej dyspozycji numer rachunku, a po wpisaniu numeru rachunku lub klienta system zestawia wszystkie dyspozycje dla tego rachunku - to z kolei wyszukiwanie po metadanych, które uzupełnia przeszukiwanie treści.
Ograniczenia i pułapki wyszukiwania pełnotekstowego
- Skany bez OCR i dokumenty zabezpieczone hasłem są dla wyszukiwarki niewidoczne.
- Pismo odręczne i pieczątki OCR rozpoznaje tylko częściowo.
- Popularne słowo bez dodatkowych filtrów zwraca tysiące wyników - ranking trafności musi być dobry.
- Wyszukiwanie po nazwisku to przetwarzanie danych osobowych: potrzebne są uprawnienia i ślad audytowy.
- Wersje zanonimizowane i oryginalne powinny być indeksowane osobno, z osobnymi uprawnieniami.
Przykłady zastosowania
Radca prawny wpisuje frazę „kara umowna” i filtr „umowy zawarte w 2024 r.” - w kilka sekund dostaje listę umów z tą klauzulą, z podglądem właściwego akapitu.
Osoba, której dane firma przetwarza, składa wniosek o dostęp do danych. Inspektor ochrony danych wyszukuje jej nazwisko we wszystkich dokumentach, a system zapisuje to zapytanie w logu.
Księgowa szuka faktury po numerze zlecenia, którego nikt nie wpisał w metadanych - wyszukiwarka znajduje go w treści dokumentu odczytanej przez OCR.
Referent w urzędzie wpisuje nazwę ulicy i numer działki, żeby odnaleźć wszystkie decyzje i pisma dotyczące tej nieruchomości, niezależnie od tego, w której sprawie powstały.
Po zmianie przepisów dział kadr wpisuje frazę „praca zdalna” i dostaje wszystkie regulaminy, zarządzenia i wzory umów, w których się pojawia, więc wie, które dokumenty wewnętrzne trzeba zaktualizować.
Najczęstsze pytania
Czym różni się wyszukiwanie pełnotekstowe od zwykłego?
Zwykłe wyszukiwanie sprawdza nazwy plików i pola metadanych. Pełnotekstowe przeszukuje całą treść dokumentów, uwzględnia odmianę wyrazów i frazy, a wyniki układa według trafności. Dzięki temu znajduje dokumenty po słowach, których nikt nie wpisał w opisie.
Czy można przeszukiwać skany?
Tak, pod warunkiem że skany przeszły przez OCR i mają warstwę tekstową. Sam obraz jest dla wyszukiwarki niewidoczny. W dobrze zorganizowanym archiwum OCR uruchamia się automatycznie przy dodaniu dokumentu, więc każdy skan jest przeszukiwalny od razu.
Czy wyszukiwanie uwzględnia polską odmianę?
Dobre silniki tak: sprowadzają słowa do formy podstawowej, więc zapytanie „umowa najmu” znajdzie też „umowy najmu” i „umowie najmu”. Warto to sprawdzić przed wdrożeniem, bo część narzędzi obsługuje odmianę tylko dla języka angielskiego.
Czy wyniki wyszukiwania respektują uprawnienia?
Powinny. System filtruje wyniki według uprawnień użytkownika, tak aby nie pokazywać nawet tytułów dokumentów, do których nie ma on dostępu. To ważne zwłaszcza dla dokumentów kadrowych i umów - sam fakt istnienia dokumentu bywa informacją poufną.
Jakie formaty dokumentów da się indeksować?
Typowo PDF, dokumenty i arkusze biurowe, e-maile z załącznikami, pliki tekstowe i XML, w tym faktury ustrukturyzowane z KSeF. Skany i obrazy wchodzą do indeksu po OCR. Formaty zaszyfrowane lub zabezpieczone hasłem trzeba najpierw odblokować.
Czy wyszukiwanie pełnotekstowe spowalnia system?
Nie, jeśli indeks jest utrzymywany osobno od bazy procesów i aktualizowany w tle. Indeksowanie nowych dokumentów odbywa się asynchronicznie, a zapytania korzystają z gotowego indeksu, dlatego wyniki pojawiają się zwykle w ułamkach sekundy nawet przy milionach stron.
Powiązane hasła
Zobacz, jak wygląda to w systemach, które wdrażamy w polskich firmach.
