Przegląd systemu¶
Deduplikator rozpoznaje i konsoliduje duplikaty klientów na podstawie historii zamówień Rainbow. Ten sam klient, rozproszony po wielu zamówieniach pod nieco różnymi danymi, zostaje sprowadzony do jednego profilu. System obsługuje:
- przetworzenie pełnej historii (ponad 2 miliony zamówień),
- uporządkowanie danych kontaktowych (imiona, telefony, adresy e-mail, adresy),
- raportowanie powracalności klientów.
Jak przepływają dane¶
flowchart LR
Zrodlo["Zamówienia\n(Rainbow)"]
Scanner["Scanner"]
Stage1["Stage1\nporządkowanie danych"]
Stage2["Stage2\nszukanie duplikatów"]
Sync["AnalyticsSync\nzapis wyników"]
Analityka["Serwer\nanalityczny"]
Zrodlo --> Scanner --> Stage1 --> Stage2 --> Sync --> Analityka
Przetwarzanie dzieli się na cztery etapy. Każdy odpowiada za jeden krok i może działać w wielu kopiach równolegle, dzięki czemu system nadąża za dużym napływem zamówień.
Etapy przetwarzania¶
| Etap | Rola |
|---|---|
| Scanner | Obserwuje źródło zamówień i przekazuje dalej dane każdej osoby z zamówienia. |
| Stage1 | Porządkuje (normalizuje) dane osoby i zakłada lub aktualizuje profil klienta. |
| Stage2 | Szuka profili tej samej osoby i scala duplikaty. |
| AnalyticsSync | Zapisuje gotowe wyniki na serwerze analitycznym. |
Obok etapów przetwarzania działa panel operatora — interfejs, w którym można śledzić postęp pracy, zarządzać blacklistą kontaktów i przeglądać kolejkę weryfikacji. Dostęp do panelu wymaga zalogowania (zob. Integracje).
Co dalej¶
- Droga zamówienia — pełna ścieżka jednego zamówienia
- Workery — szczegóły czterech etapów przetwarzania
- Algorytmy — jak system rozpoznaje duplikaty
- Normalizacja — porządkowanie surowych danych
- Integracje — LDE, blacklista, logowanie
- Rededuplikacja — ponowne przetworzenie historii