ETL – extract, transform, load
ETL (extract, transform, load - pobierz, przekształć, załaduj) to proces integracji danych, w którym dane pobiera się z wielu źródeł, na przykład ERP, programu kadrowego i arkuszy, oczyszcza i ujednolica według reguł biznesowych, a następnie ładuje do jednego miejsca docelowego - najczęściej hurtowni danych, z której korzystają raporty i narzędzia BI.
Proces ETL - trzy etapy krok po kroku
Każdy system w firmie zapisuje dane po swojemu. ERP ma kontrahenta pod jednym identyfikatorem, CRM pod innym, a arkusz controllingu pod nazwą wpisaną ręcznie. ETL zbiera te dane w jedno miejsce i doprowadza do wspólnej postaci, zwykle cyklicznie - co noc, co godzinę, raz w miesiącu po zamknięciu ksiąg.
- Extract, czyli pobranie - odczyt z baz danych, API, plików CSV i XML, arkuszy. Najlepiej z kopii lub widoku, żeby nie obciążać systemu, na którym pracują ludzie.
- Transform, czyli przekształcenie - czyszczenie i ujednolicanie: NIP zapisany z kreskami i bez sprowadzony do jednej postaci, duplikaty kontrahentów scalone, kwoty w walutach przeliczone, słowniki MPK i kont zmapowane, rekordy niespełniające reguł walidacji odłożone do wyjaśnienia.
- Load, czyli załadowanie - zapis do hurtowni danych lub innej bazy docelowej. Pierwsze ładowanie jest pełne, kolejne zwykle przyrostowe, czyli tylko rekordy nowe i zmienione od poprzedniego przebiegu.
Do czego służy ETL: hurtownia danych, raporty, migracja
Najczęściej ETL zasila hurtownię danych, z której dashboardy i raporty zarządcze czytają dane z całej firmy naraz: sprzedaż z ERP, koszty z FK, etaty z kadr, czasy obsługi z systemu obiegu dokumentów. Dzięki temu dyrektor finansowy nie skleja co miesiąc pięciu eksportów w Excelu, a wszyscy liczą marżę według tej samej definicji. Te same narzędzia wykorzystuje się przy migracji danych, tyle że migracja jest jednorazowa i kończy się przełączeniem na nowy system, a ETL działa stale. Popularne narzędzia to SQL Server Integration Services, Data Factory w Microsoft Fabric i Azure, Talend, Informatica, a w mniejszej skali Power Query w Excelu i Power BI.
ETL a ELT i integracja na bieżąco
W podejściu ELT kolejność jest inna: dane surowe trafiają najpierw do docelowego magazynu, a przekształca się je dopiero tam, jego mocą obliczeniową. To typowe dla nowoczesnych hurtowni w chmurze i dużych wolumenów. Klasyczny ETL wybiera się, gdy reguły są złożone albo dane trzeba sprawdzić i oczyścić, zanim w ogóle trafią do celu. Reverse ETL odwraca kierunek: gotowe wyniki z hurtowni wracają do systemów, w których ludzie pracują na co dzień, na przykład do CRM. Klasyczny ETL pracuje wsadowo, więc raport pokazuje stan z ostatniego przebiegu. Gdy pojedyncze zdarzenie ma od razu uruchomić działanie w innym systemie, lepiej sprawdza się integracja przez API, webhook albo platforma iPaaS.
ETL w praktyce e-MSI: dane z dokumentów i procesów
Klasyczny ETL zna tylko dane, które już są w systemach. Faktury, umowy i pisma w PDF trzeba najpierw zamienić na dane. W systemie IDR® opracowanym przez e-MSI dokument przechodzi klasyfikację, ekstrakcję i walidację, a odczytane dane mogą zasilić nie tylko ERP i procesy, ale też hurtownię danych - wtedy dokumenty stają się dla ETL kolejnym źródłem. Platforma JobRouter® łączy dane z procesów, dokumentów i systemów, pozwala agregować dane z wielu źródeł i integruje się z narzędziami BI, takimi jak Power BI. Więcej na stronie analityka danych.
Najczęstsze błędy w procesach ETL
- Brak uzgodnienia po załadowaniu - liczba rekordów i suma kwot w źródle nie są porównywane z hurtownią.
- Reguły przekształceń zapisane w makrach jednej osoby zamiast w udokumentowanym procesie.
- Pełne ładowanie co noc przy rosnących danych, aż przestaje mieścić się w oknie nocnym.
- Brak reakcji na zmiany w źródle - nowa wersja ERP zmienia nazwę pola, a raport pokazuje zera.
- Kopiowanie do hurtowni wszystkich danych osobowych na zapas, wbrew zasadzie minimalizacji danych z RODO.
- Brak alertu o nieudanym przebiegu, przez co zarząd ogląda wczorajsze dane jako dzisiejsze.
Przykłady zastosowania
Controller spółki handlowej co noc pobiera sprzedaż z ERP i koszty z systemu FK, ujednolica kody kontrahentów i MPK, a rano zarząd widzi w Power BI marżę według oddziałów.
Grupa kapitałowa z trzema programami księgowymi ładuje dane wszystkich spółek do jednej hurtowni i mapuje je na wspólny plan kont na potrzeby raportu skonsolidowanego.
Dział kadr łączy dane z programu kadrowo-płacowego i systemu rejestracji czasu pracy, żeby raz w miesiącu raportować koszty wynagrodzeń według projektów.
Faktury kosztowe odczytane z PDF trafiają do procesu akceptacji, a po zaksięgowaniu ich dane zasilają hurtownię i raport wydatków według dostawców.
Przy zmianie systemu ERP firma używa tego samego narzędzia ETL do jednorazowej migracji kartotek, a potem do codziennego zasilania raportów z nowego systemu.
Najczęstsze pytania
Co to znaczy ETL?
ETL to skrót od extract, transform, load, czyli pobierz, przekształć, załaduj. W praktyce to automatyczne przenoszenie danych z wielu programów do jednego miejsca, najczęściej hurtowni danych. Po drodze dane są czyszczone i ujednolicane, dzięki czemu raport powstaje z jednego źródła, a nie ze sklejania eksportów w arkuszu.
Czym jest ELT i czym różni się od ETL?
ELT (extract, load, transform) to wariant, w którym surowe dane najpierw ładuje się do docelowej hurtowni, a przekształca dopiero w niej, jej mocą obliczeniową. W ETL przekształcenie odbywa się przed załadowaniem, w osobnym narzędziu. ELT jest typowy dla hurtowni w chmurze i dużych wolumenów, ETL dla złożonych reguł i danych wymagających kontroli.
Jakie są narzędzia ETL?
Popularne są SQL Server Integration Services, Data Factory w Microsoft Fabric i Azure, Talend oraz Informatica. W mniejszej skali rolę narzędzia ETL pełni Power Query w Excelu i Power BI. Wybór zależy od źródeł danych, wolumenu, tego, gdzie stoi hurtownia, i kompetencji zespołu, który będzie procesy utrzymywał.
Czym ETL różni się od migracji danych?
Migracja to jednorazowe przeniesienie danych do nowego systemu, zakończone przełączeniem pracy na nowy. ETL działa cyklicznie i bez końca - co noc lub co godzinę zasila hurtownię lub raporty. Obie operacje używają podobnych technik i często tych samych narzędzi: pobrania, mapowania pól, czyszczenia i uzgodnienia wyników.
Co oznacza znak ETL na urządzeniu elektrycznym?
To zupełnie inne ETL. Znak ETL Listed na sprzęcie oznacza, że produkt przeszedł badania bezpieczeństwa i certyfikację w firmie Intertek, uznawaną w Stanach Zjednoczonych i Kanadzie. Nazwa pochodzi od Electrical Testing Labs i nie ma związku z przetwarzaniem danych opisanym w tym haśle.
Czy proces ETL można zautomatyzować bez programowania?
W dużej części tak. Nowoczesne narzędzia ETL i platformy integracyjne pozwalają budować przepływy w edytorze graficznym i uruchamiać je według harmonogramu. Programista lub analityk danych nadal jest potrzebny przy złożonych regułach, dużych wolumenach i obsłudze błędów, a reguły biznesowe musi zatwierdzić właściciel danych.
Powiązane hasła
Zobacz, jak wygląda to w systemach, które wdrażamy w polskich firmach.
