Centrum nadzoru

Centrum nadzoru to centralna powierzchnia nadzoru nad danymi platformy DataFlow AI — gdzie opiekunowie danych śledzą pochodzenie danych w majątku SAP HANA, Snowflake, Teradata i Databricks Polkomtela, monitorują jakość w domenach CRM, Billing, Network i CDR, certyfikują produkty danych, przeglądają potoki przed wdrożeniem oraz uruchamiają procesy usuwania RODO.

Nowy tutaj? Co oznacza „nadzór nad danymi"

Nadzór nad danymi to zestaw reguł i nawyków, które utrzymują dane organizacji jako godne zaufania, dobrze udokumentowane i legalne w użyciu. Jeśli potok danych to instalacja wodna, która przenosi dane, nadzór jest inspektorem budowlanym, który sprawdza, czy instalacja jest bezpieczna, zanim ktokolwiek napije się wody.

Centrum nadzoru to miejsce, w którym odbywa się ta inspekcja. W codziennych terminach odpowiada na pytania takie jak:

• Skąd wzięła się ta liczba? — śledzenie danych z powrotem do ich pierwotnego źródła.
• Czy mogę zaufać tej tabeli? — sprawdzanie, czy przechodzi reguły jakości i czy została certyfikowana.
• Czy obchodzimy się z prywatnymi danymi poprawnie? — upewnianie się, że dane osobowe są chronione, a prawo jest przestrzegane.
• Czy ten nowy potok jest bezpieczny do włączenia? — przeglądanie i zatwierdzanie go, zanim trafi do produkcji.

Kilka terminów, które spotkasz na tych ekranach:

• Pochodzenie danych — udokumentowana podróż danych, od miejsca, w którym zostały utworzone, przez każdą transformację, do miejsca, w którym są używane. Pochodzenie „na poziomie kolumn" śledzi każde pojedyncze pole, a nie tylko całe tabele.
• PII — informacje umożliwiające identyfikację osoby (ang. Personally Identifiable Information): wszelkie dane, które mogą zidentyfikować rzeczywistą osobę, takie jak imię, numer telefonu lub polski numer identyfikacyjny (PESEL). PII jest chronione prawem.
• GDPR / RODO — europejskie prawo o ochronie danych (zwane RODO w Polsce), które reguluje, jak dane osobowe mogą być gromadzone, przechowywane i używane.
• DSAR — żądanie dostępu osoby, której dane dotyczą (ang. Data Subject Access Request): formalne żądanie od osoby fizycznej, aby zobaczyć, poprawić lub usunąć dane osobowe, które organizacja o niej przechowuje.
• Jakość danych — jak kompletny, dokładny i spójny jest zbiór danych. Reguła jakości to zautomatyzowana kontrola (na przykład „kolumna IMEI musi mieć 15 cyfr").
• Opiekun — osoba odpowiedzialna za nadzór: przeglądanie jakości, zatwierdzanie potoków i obsługa żądań dotyczących prywatności.

Kto korzysta z Centrum nadzoru

Centrum nadzoru to główny obszar roboczy dla persony opiekuna danych (Tomasz Wiśniewski). Inżynierowie danych i administratorzy platformy używają go jako powierzchni drugorzędnej — inżynierowie do inspekcji pochodzenia danych potoków, które budują, administratorzy do przeglądania ścieżki audytu nadzoru.

Egzekwowanie tras: persona steward ma dozwolony prefiks trasy /governance; persony engineer i admin również mają dostęp do /governance, podczas gdy persona analyst jest ograniczona tylko do /governance/quality i /governance/lineage. Rzeczywista autoryzacja jest egzekwowana po stronie serwera — strażnik tras SPA dotyczy wyłącznie UX.

Układ modułu

Centrum montuje się pod /governance (wejście src/pages/GovernanceHub.tsx, układ src/layouts/GovernanceHubLayout.tsx). Zagnieżdżony pasek boczny wymienia podsekcje nadzoru; poziomy pasek kart GovernanceSubNav znajduje się na górze każdego ekranu w celu szybkiego przełączania.

+------------------------------------------------------------------+
| Top Bar   [Logo] DataFlow AI   [Search]   [Bell] [T. Avatar]      |
+------------------------------------------------------------------+
| Sidebar (240px)            | Main content area                   |
|  > Dashboard               | +-------------------------------+   |
|  > Design Studio           | | GovernanceSubNav tabs         |   |
|  > Pipeline Monitor        | | [Lineage][Quality][Reviews]   |   |
|  v GOVERNANCE HUB (active) | | [Glossary][Audit Trail]       |   |
|    > Lineage Explorer      | +-------------------------------+   |
|    > Quality Monitoring    | |                               |   |
|    > Review Queue          | |   (Screen content renders)    |   |
|    > Business Glossary     | |                               |   |
|    > Audit Trail           | |                               |   |
|  > Admin Console           | +-------------------------------+   |
+----------------------------+-------------------------------------+

Pięć głównych podsekcji — Lineage Explorer, Quality Monitoring, Review Queue, Business Glossary, Audit Trail — rozgałęzia się na mniej więcej piętnaście podstron i paneli nadzoru (graf pochodzenia danych, modal analizy wpływu, pulpit jakości, podział na domeny, siatka reguł jakości, panel wglądów AI, lista kolejki przeglądów, szczegóły przeglądu, podział oceny nadzoru, lista słownika, szczegóły terminu słownikowego, ścieżka audytu, certyfikacja produktów danych, proces DSAR/usuwania, widok klasyfikacji PII).

Eksplorator pochodzenia danych

Trasa: /governance/lineage — wejście src/pages/governance/LineageExplorerPage.tsx.

Eksplorator pochodzenia danych to interaktywny graf D3.js pochodzenia danych we wszystkich systemach Polkomtela. Odpowiada na dwa pytania: skąd pochodzą te dane? oraz co się zepsuje, jeśli zmienię tę kolumnę?

Układ ekranu

+------------------------------------------------------------------+
| Toolbar                                                           |
| [Search: "Search for any table, column, or pipeline..."]          |
| Lineage Level:  ( ) Pipeline   ( ) Table   (*) Column             |
| [Impact Analysis] [Expand All] [Reset View] [Export PNG]          |
+------------------------------------------------------------------+
| Main Graph Area (min-h 600px)                                     |
|                                                                   |
|  [SAP HANA]--->[wf_customer_360]--->[Snowflake]--->[Databricks]   |
|  (cylinder)     (rectangle)          (cylinder)     (database)    |
|                                                                   |
+------------------------------------------------------------------+
| Detail Panel (320px right slide-in, when a node is selected)      |
+------------------------------------------------------------------+

Elementy sterujące interfejsu

Kształty węzłów są kodowane według typu: baza danych = prostokąt-cylinder, potok = zaokrąglony prostokąt, tabela = prostokąt-siatka, kolumna = kropka (szmaragdowa normalna / bursztynowa wybrana / czerwona problem z jakością), transformacja = romb. Krawędzie są domyślnie przerywane w kolorze łupkowym; prześledzona ścieżka pochodzenia danych zmienia się na ciągłą indygo z płynącą animacją przerywania. Przesuwanie przez przeciągnięcie kliknięciem; powiększenie przez kółko myszy (0,3x–3,0x). Graf używa układu dagre od lewej do prawej: SAP HANA po lewej, transformacje potoku środkowo-lewo, Snowflake DWH środkowo-prawo, a Databricks Analytics po prawej, z odstępem poziomym 300px między grupami systemów.

Panel szczegółów

Kliknięcie węzła otwiera prawy panel o szerokości 320px: nazwę węzła i w pełni kwalifikowaną ścieżkę, typ danych, właściciela, ocenę jakości z paskiem, czas ostatniej aktualizacji, tagi (np. PII, ML-Generated, Sensitive), opis, liczbę elementów w górę/w dół potoku oraz trzy akcje — Show Impact Analysis, View Quality Rules i Open in Glossary.

Modal analizy wpływu

Modal analizy wpływu (640px, wyśrodkowany) grupuje każdą zależność w dół potoku według ważności — Critical, High, Medium, Low — każdą z nazwą zależności, systemem, typem (tabela/kolumna/potok/pulpit/raport) i opisem. Łączna liczba zależności i przycisk Export Impact Report znajdują się na dole.

Ścieżka kliknięć — prześledź pochodzenie kolumny

1. Otwórz /governance/lineage.
2. Ustaw przełącznik Lineage Level na Column.
3. Wpisz CHURN_SCORE w pasek wyszukiwania i wybierz sugestię Snowflake DWH.DIM_CUSTOMER.CHURN_SCORE.
4. Graf centruje się i podświetla pełną ścieżkę: kolumny źródłowe SAP HANA (ACTIVITY_DATE, ACTIVITY_TYPE, CALL_DURATION_SEC, MONTHLY_ARPU, PAYMENT_STATUS) → transformacja Python UDF ML_SCORE_CALC → CHURN_SCORE w Snowflake → dalej do Databricks churn_dashboard, raportu Snowflake RPT_CUSTOMER_HEALTH oraz AGG_MONTHLY_CHURN.
5. Kliknij węzeł CHURN_SCORE — wsuwa się panel szczegółów.
6. Kliknij Show Impact Analysis — modal wymienia każdą zależność w dół potoku pogrupowaną według ważności.

Za kulisami

api/lineage.ts obsługuje graf; backendowa usługa pochodzenia danych udostępnia BiLineageController (odczyt = ROLE_ADMIN lub ROLE_STEWARD) oraz LineageAuthoringController (edycja = STEWARD/ADMIN). Propagacja pochodzenia danych jest dostępna tylko dla administratorów.

Pulpit monitorowania jakości

Trasa: /governance/quality — wejście src/pages/governance/QualityMonitoringPage.tsx.

Jednopanelowy widok jakości danych w domenach CRM, Billing, Network i CDR. Ujawnia niezaliczające reguły, trendy oraz oparte na AI wglądy w przyczyny źródłowe, zanim opiekun musi ich szukać.

Układ ekranu

+------------------------------------------------------------------+
| Quality Monitoring Dashboard      Last refreshed: 2 min ago       |
|                                            [Refresh] [Export]     |
+------------------------------------------------------------------+
| Row 1: Overall Score gauge        | AI Insight card               |
|        [ ===== 97.3% ===== ]      | "IMEI format changed in new   |
|        +0.2% vs last week         |  handset batch..." [View][x]  |
+------------------------------------------------------------------+
| Row 2: Domain cards                                               |
| [CRM 98.1%] [Billing 97.8%] [Network 96.2%] [CDR 94.1% ALERT]    |
+------------------------------------------------------------------+
| Row 3: Quality Trend chart (30-day multi-line per domain)         |
+------------------------------------------------------------------+
| Row 4: Quality Rules grid (search + domain/status filters)        |
+------------------------------------------------------------------+

Komponenty interfejsu

Każdy wiersz reguły rozwija się po kliknięciu w miejscu, ujawniając opis reguły, liczbę niezaliczonych/łącznych rekordów oraz wgląd AI, jeśli jest dołączony.

Ścieżka kliknięć — przejrzyj jakość danych

1. Otwórz /governance/quality.
2. Przeskanuj karty podziału na domeny — karta CDR z czerwoną ramką (94,1%, 3 niezaliczające reguły) ma alert.
3. Kliknij kartę CDR — siatka reguł filtruje się do reguł CDR.
4. Kliknij wiersz IMEI_FORMAT_CHECK, aby go rozwinąć.
5. Przeczytaj wgląd AI: format IMEI zmienił się w nowej partii aparatów Xiaomi Redmi Note 15; sugerowana poprawka aktualizuje wyrażenie regularne z ^[0-9]{15}$ na ^[0-9]{2}-?[0-9]{13}$.
6. Opcjonalnie kliknij View Details karty wglądów AI, aby przeskoczyć prosto do dotkniętej reguły.

Za kulisami

api/quality.ts obsługuje oceny i reguły. Wglądy AI dotyczące jakości są generowane przez podpowiedzi reguł jakości i wglądów usługi Copilot (NL → ustrukturyzowane reguły z ocenami pewności). Typy reguł jakości obejmują NOT_NULL, UNIQUE, RANGE, REGEX, ROW_COUNT, CUSTOM_SQL, FRESHNESS, COMPLETENESS, SCHEMA_MATCH oraz STATISTICAL.

Kontrakty danych

Kontrakt danych to uzgodniony, wersjonowany interfejs między producentem danych a jego odbiorcami — przypina schemat, typy semantyczne, dopuszczalność wartości pustych, oczekiwania świeżości oraz gwarancje jakości zbioru danych, tak aby potok w dół potoku mógł na nim polegać bez niespodziewanego zepsucia. Widok Kontraktów danych Centrum nadzoru wymienia każdy zarejestrowany kontrakt, jego zespół właścicielski, jego odbiorców oraz jego bieżący stan zgodności.

Co przypina kontrakt

Kontrakt jest naruszony, gdy uruchomienie potoku produkuje wynik, który już nie spełnia klauzuli — na przykład kolumna zostaje usunięta, typ się rozszerza lub SLA świeżości jest niedotrzymane. Naruszenia ujawniają się jako alerty zarówno dla producenta, jak i zarejestrowanych odbiorców, a zmiana przełomowa jest blokowana przed produkcją, dopóki kontrakt nie zostanie ponownie zwersjonowany, a odbiorcy go nie potwierdzą.

Kwarantanna danych

Gdy uruchomienie potoku produkuje rekordy, które nie przechodzą blokującej reguły jakości, te rekordy nie są po cichu odrzucane ani ładowane do celu — są kierowane do kwarantanny danych, obszaru wstrzymania, gdzie podejrzane wiersze czekają na decyzję opiekuna. Kwarantanna utrzymuje złe dane z dala od produkcji, jednocześnie zachowując je do inspekcji, więc problem z pozyskiwaniem nigdy nie uszkadza tabeli w dół potoku i nigdy nie traci dowodów.

Jak działa kwarantanna

Tę powierzchnię obsługuje QuarantineController silnika potoków — dostęp do odczytu jest przyznawany rolom ADMIN, STEWARD i ENGINEER, podczas gdy zwolnienie jest ograniczone do ADMIN. Każde zwolnienie i odrzucenie jest zapisywane do ścieżki audytu nadzoru.

Ścieżka kliknięć — wyczyść poddaną kwarantannie partię

1. Otwórz Centrum nadzoru i przejdź do widoku Kwarantanny danych.
2. Zlokalizuj wstrzymaną partię — każdy wiersz pokazuje źródłowy potok, niezaliczającą regułę, liczbę rekordów oraz jak długo była wstrzymana.
3. Otwórz partię, aby zbadać przykładowe niezaliczające wiersze i różnicę względem oczekiwanego schematu lub reguły.
4. Napraw przyczynę źródłową — zaktualizuj niezaliczającą regułę jakości (np. poszerz wyrażenie regularne) lub popraw dane z góry potoku.
5. Zwolnij partię, aby ponownie przetworzyć rekordy, lub Odrzuć ją, aby odrzucić je na stałe.
6. Działanie jest rejestrowane w ścieżce audytu z wykonawcą, identyfikatorem partii i wynikiem.

Ewolucja schematu

Systemy źródłowe się zmieniają — kolumna zostaje dodana do tabeli SAP HANA, typ się rozszerza w Snowflake, pole zostaje przemianowane. Widok Ewolucji schematu Centrum nadzoru śledzi każdą wykrytą zmianę schematu w podłączonym majątku, klasyfikuje ją według ważności i pokazuje, które potoki i kontrakty dotyka, tak aby zmiana została przejrzana, zanim po cichu zepsuje potok w dół potoku.

Klasyfikacja zmian

Każda śledzona zmiana rejestruje system, tabelę, kolumnę, definicję przed/po, czas wykrycia oraz listę dotkniętych potoków i kontraktów danych. Zmiany o wysokiej ważności (przełomowe) podnoszą alert i, gdzie dotknięty zbiór danych stanowi podstawę kontraktu danych, blokują kontrakt przed dalszym postępem, dopóki nie zostanie ponownie zwersjonowany.

Zdolność ewolucji schematu frameworka konektorów (zadeklarowana na konektor w connector-sdk) jest tym, co umożliwia wykrywanie — konektory, które ją wspierają, raportują delty schematu przy każdym uruchomieniu, które usługa metadanych rejestruje, a widok Ewolucji schematu renderuje jako oś czasu.

Kolejka przeglądów nadzoru

Trasa: /governance/reviews — wejście src/pages/governance/GovernanceReviewPage.tsx.

Kolejka przeglądów wymienia każdy potok oczekujący na zatwierdzenie nadzoru, zanim będzie mógł zostać wdrożony do staging lub produkcji. Każdy przegląd niesie automatyczną ocenę nadzoru na 100, obliczoną na podstawie tagowania PII, pokrycia maskowaniem, polityki retencji, kompletności pochodzenia danych oraz pokrycia regułami jakości.

Układ ekranu

+------------------------------------------------------------------+
| Governance Review Queue            [Filter v] [Sort v]            |
| 4 pipelines awaiting review                                       |
+------------------------------------------------------------------+
| [PENDING] wf_Subscriber_Churn_v2 | Anna K.  | 94/100 | 7 pass 1 warn|
|   Submitted 2 hours ago | depends on wf_customer_360             |
+------------------------------------------------------------------+
| [PENDING] wf_CDR_Daily_Agg       | Piotr M. | 88/100 | 6 pass 2 warn|
|   Submitted 5 hours ago | CDR domain, batch processing           |
+------------------------------------------------------------------+

Szczegóły przeglądu

Otwarcie przeglądu pokazuje pełną automatyczną kartę wyników nadzoru — każda kontrola (tagowanie PII, maskowanie, retencja, kompletność pochodzenia danych, reguły jakości) oznaczona jako zaliczona lub z ostrzeżeniem — wraz z metadanymi potoku, zgłaszającym i listą zależności. Opiekun następnie Zatwierdza lub Odrzuca przegląd.

Ścieżka kliknięć — zatwierdź potok

1. Otwórz /governance/reviews.
2. Kliknij wiersz z plakietką statusu PENDING.
3. Zbadaj ocenę nadzoru oraz podział na zaliczone/z ostrzeżeniem poszczególnych kontroli.
4. Potwierdź, że kontrole maskowania i PII są zadowalające.
5. Kliknij Approve (lub Reject z uzasadnieniem) — potok staje się kwalifikowalny do wdrożenia staging/produkcyjnego.

Za kulisami

api/governance.ts obsługuje kolejkę przeglądów i szczegóły. Backendowe punkty końcowe governance/reviews/** są publicznymi dopasowaniami na warstwie usług; mutacje zatwierdzania są strzeżone autoryzacją opiekuna/administratora. Zatwierdzone przeglądy odblokowują przycisk dzielony Deploy w Studiu projektowania.

Certyfikacja produktów danych

Produkty danych to zasoby katalogu — kuratorowane, nadzorowane tabele i widoki — które opiekun może formalnie certyfikować, aby odbiorcy wiedzieli, że zasób jest godny zaufania. Certyfikacja dodaje plakietkę poparcia widoczną w katalogu Przeglądarki danych.

Ścieżka kliknięć — certyfikuj produkt danych

1. Otwórz Przeglądarkę danych i przejdź do widoku Szczegółów tabeli produktu danych (/data-browser/table/{database}/{schema}/{table}).
2. Potwierdź ocenę jakości zasobu, kompletność pochodzenia danych oraz klasyfikację PII w odpowiednich kartach.
3. Otwórz panel nadzoru zasobu i wybierz Certify.
4. Wybierz poziom certyfikacji i dodaj notatkę uzasadniającą.
5. Potwierdź — zasób teraz pokazuje plakietkę poparcia Certified w chmurze tagów katalogu i wynikach wyszukiwania.

Za kulisami

api/endorsements.ts rejestruje certyfikację; api/dataProducts.ts i api/catalog.ts ujawniają plakietkę. Opisy zasobów katalogu mogą być automatycznie szkicowane przez punkt końcowy Copilota /describe/asset. Certyfikacja i klasyfikacja wymagają uprawnień catalog:edit / catalog:classify (opiekun lub administrator).

Procesy RODO i DSAR

Centrum nadzoru hostuje procesy zgodności RODO Polkomtela — żądania dostępu osoby, której dane dotyczą (DSAR) oraz proces prawa do usunięcia. Usunięcie to destrukcyjna, audytowana operacja: opiekun identyfikuje osobę, której dane dotyczą, platforma lokalizuje każdy rekord we wszystkich systemach, a skoordynowane usunięcie przebiega z pełnym przechwyceniem audytu.

Maskowanie PII

Informacje umożliwiające identyfikację osoby są maskowane na dwóch warstwach:

• Maskowanie odpowiedzi bramy — PiiMaskingFilter bramy API czyści PII z odpowiedzi błędów (HTTP 4xx/5xx). Rozpoznaje EMAIL, polskie numery telefonów, PESEL, karty kredytowe, IBAN, adresy IP oraz polskie kody pocztowe. Pomyślne ładunki 2xx przechodzą niezamaskowane z założenia — wersjonowane DTO nie powinny nieść żadnego dowolnego PII.
• Klasyfikacja PII katalogu — PiiClassifierController usługi metadanych skanuje i taguje kolumny katalogu. Skanowanie jest otwarte dla ADMIN/ANALYST/STEWARD/ENGINEER; zastosowanie klasyfikacji jest ograniczone do ADMIN/STEWARD.

Ścieżka kliknięć — uruchom usunięcie DSAR

1. Otwórz Centrum nadzoru i przejdź do procesu RODO / DSAR.
2. Utwórz nowy DSAR typu Erasure i wprowadź identyfikator osoby, której dane dotyczą (np. MSISDN lub PESEL).
3. Platforma odkrywa każdy rekord pasujący do osoby, której dane dotyczą, we wszystkich podłączonych systemach i pokazuje zakres dotkniętych rekordów.
4. Przejrzyj odkryty zakres — potwierdź, że pasuje do żądania prawnego.
5. Prześlij usunięcie do wykonania. ErasureController silnika potoków (strzeżony hasAnyRole('ADMIN','STEWARD')) uruchamia skoordynowane usunięcie.
6. Śledź zadanie do ukończenia; wynik oraz każdy dotknięty rekord są zapisywane do ścieżki audytu nadzoru.

Za kulisami

api/gdpr.ts napędza tworzenie DSAR, odkrywanie zakresu oraz śledzenie usuwania. Zaległe DSAR-y ujawniają się jako alerty na pulpicie głównym opiekuna danych. Silnik potoków udostępnia również QuarantineController do przechowywania podejrzanych rekordów (odczyt = ADMIN/STEWARD/ENGINEER, zwolnienie = ADMIN).

Słownik biznesowy

Trasa: /governance/glossary.

Słownik biznesowy to katalog terminologii telekomunikacyjnej Polkomtela — metryk, wymiarów i filtrów z uzgodnionymi definicjami. Odzwierciedla warstwę semantyczną, której Copilot używa do wzbogacania SQL w języku naturalnym.

Wbudowany słownik obejmuje mniej więcej jedenaście metryk (wskaźnik odejść, ARPU, MoU, zużycie danych, przyrosty netto, przychody, mieszane ARPU i więcej — każda z formułą SQL i tabelami źródłowymi), około czternastu wymiarów (region, miasto, plan taryfowy, segment, kanał, części daty, typ urządzenia, typ sieci) oraz siedem szablonów filtrów (aktywni abonenci, ostatnie N dni, postpaid, prepaid, B2B). Opiekunowie mogą rejestrować niestandardowe terminy w czasie działania.

Każdy wpis słownika prowadzi z powrotem do zasobów, które go używają, a akcja Open in Glossary panelu szczegółów pochodzenia danych przeskakuje prosto do pasującego terminu.

Ścieżka audytu

Trasa: /governance/audit.

Ścieżka audytu to niezmienny dziennik aktywności nadzoru — certyfikacji, zatwierdzeń/odrzuceń przeglądów, uruchomień usuwania, zmian klasyfikacji oraz edycji pochodzenia danych.

Wpisy audytu są produkowane przez AuditInterceptor bramy, który przechwytuje każdy POST/PUT/PATCH/DELETE na /api/** i wykonuje podwójny zapis: ustrukturyzowaną linię JSON przez logger SLF4J com.polkomtel.dataflow.audit na potrzeby pozyskiwania przez SIEM oraz asynchroniczny wiersz bazy danych. Każdy wpis przechwytuje identyfikator zdarzenia, identyfikator żądania, akcję, metodę, ścieżkę, typ i identyfikator zasobu, kod statusu, czas trwania, tożsamość wykonawcy (identyfikator użytkownika, e-mail, rola, obszar roboczy z nagłówków X-User-* wstrzykniętych przez bramę), adres zdalny oraz szczegóły powodzenia/błędu.

Dzienniki audytu są przechowywane 365 dni i eksportowalne do SIEM. Dostęp do odczytu dziennika audytu jest ograniczony do ROLE_ADMIN.

Mapa podstron nadzoru

Przewodnik — codzienna rutyna opiekuna danych

Oto obchód, który opiekun wykonuje każdego ranka, aby utrzymać dane Polkomtela zdrowe i zgodne. Zwykle zajmuje to dziesięć do piętnastu minut.

1. Otwórz Centrum nadzoru. Kliknij Governance w pasku bocznym (lub naciśnij Alt+G). Pulpit monitorowania jakości to dobry punkt startowy.
2. Sprawdź ogólną ocenę jakości. Przeczytaj duży półkolisty wskaźnik. Szmaragdowy (95–100%) jest zdrowy; bursztynowy lub czerwony wymaga zbadania. Rzuć okiem na deltę tydzień do tygodnia poniżej — nagły spadek to sygnał.
3. Wypatrz słabą domenę. Przeskanuj cztery karty domen (CRM, Billing, Network, CDR). Każda karta z czerwoną ramką i pulsującą kropką ma alert. Kliknij ją, aby przefiltrować siatkę reguł do tej domeny.
4. Zbadaj niezaliczającą regułę. W przefiltrowanej siatce reguł kliknij niezaliczającą regułę, aby ją rozwinąć. Przeczytaj wgląd AI — wyjaśnia prostymi słowami, dlaczego reguła zaczęła zawodzić, i często sugeruje dokładną poprawkę (na przykład poprawiony wzorzec wyrażenia regularnego).
5. Wyczyść kwarantannę. Otwórz widok Kwarantanny danych. Każda partia tam wymieniona to podejrzane dane wstrzymane przed produkcją. Zbadaj przykładowe wiersze, napraw przyczynę źródłową (popraw regułę lub dane z góry potoku), a następnie Zwolnij partię, aby ją ponownie przetworzyć, lub Odrzuć ją, aby odrzucić złe wiersze.
6. Zajmij się kolejką przeglądów. Otwórz Kolejkę przeglądów. Każdy oczekujący potok pokazuje ocenę nadzoru na 100. Otwórz jeden, przeczytaj podział na zaliczone/z ostrzeżeniem poszczególnych kontroli, potwierdź, że tagowanie PII i maskowanie wyglądają poprawnie, a następnie Zatwierdź go (lub Odrzuć z uzasadnieniem).
7. Obsłuż żądania dotyczące prywatności. Jeśli czeka DSAR (żądanie dotyczące prywatności), otwórz je, przejrzyj odkryty zakres i przetwórz je — zobacz ścieżkę kliknięć usuwania powyżej. Dąż do rozwiązania DSAR-ów znacznie przed prawnym terminem.
8. Rzuć okiem na ścieżkę audytu. Szybkie spojrzenie na Ścieżkę audytu potwierdza, że nie wydarzyło się nic nieoczekiwanego w nocy.

Częste pytania

Jaka jest różnica między pochodzeniem danych a kontraktem danych? Pochodzenie danych opisuje, co dane faktycznie robią — ich rzeczywistą podróż przez transformacje, odkrytą przez platformę. Kontrakt danych to obietnica dotycząca zbioru danych — schemat, typy i świeżość, które producent gwarantuje swoim odbiorcom. Pochodzenie danych to obserwacja; kontrakt to umowa.

Co dzieje się z wierszami, które nie przechodzą reguły jakości? Jeśli reguła jest blokująca, niezaliczające wiersze nie są ładowane do celu ani po cichu odrzucane — są kierowane do Kwarantanny danych, obszaru wstrzymania, gdzie opiekun może je zbadać i zdecydować o zwolnieniu lub odrzuceniu. To utrzymuje złe dane z dala od produkcji bez utraty dowodów.

Dlaczego potok został zablokowany przed wdrożeniem? Potok musi przejść przegląd nadzoru, zanim dotrze do staging lub produkcji. Jeśli jego ocena nadzoru jest poniżej progu — zwykle dlatego, że PII jest nieotagowane, maskowanie brakuje lub polityka retencji nie jest ustawiona — przycisk Deploy pozostaje zablokowany, dopóki opiekun go nie zatwierdzi.

Czy usunięcie DSAR jest odwracalne? Nie. Prawo do usunięcia trwale usuwa rekordy osoby, której dane dotyczą, z docelowych systemów. Zawsze potwierdź identyfikator osoby, której dane dotyczą (MSISDN lub PESEL), oraz zakres systemu przed wykonaniem.

Kto co może w Centrum nadzoru? Opiekunowie i administratorzy mogą zatwierdzać przeglądy, certyfikować produkty danych, klasyfikować PII oraz uruchamiać usuwania. Inżynierowie mogą przeglądać pochodzenie danych i jakość. Analitycy dostają widok jakości i pochodzenia danych tylko do odczytu. Sama ścieżka audytu jest czytelna tylko dla administratorów.

Czym jest maskowanie PII i kiedy ma zastosowanie? Maskowanie ukrywa wrażliwe wartości (numer telefonu pokazany jako 48*****1234). Platforma automatycznie maskuje PII w odpowiedziach błędów, a katalog taguje, które kolumny są PII. To, czy dany użytkownik widzi rzeczywiste czy zamaskowane wartości, zależy od jego roli.

Zmiana schematu zepsuła potok — czy mogłem to wyłapać wcześniej? Tak. Widok Ewolucji schematu śledzi każdą wykrytą zmianę w tabelach źródłowych i klasyfikuje ją według ważności. Zmiany o wysokiej ważności (kolumna przemianowana lub usunięta) podnoszą alert i, gdzie zbiór danych stanowi podstawę kontraktu danych, blokują go, dopóki kontrakt nie zostanie ponownie zwersjonowany. Regularne przeglądanie tego widoku wyłapuje zmiany przełomowe, zanim trafią do uruchomienia.

Dokumentacja API

Wszystkie żądania przepływają przez bramę API, która waliduje JWT Keycloak (podpis RS256, wystawca oraz aud zawierające dataflow-api) i wstrzykuje nagłówki tożsamości przed przekazaniem do usług związanych z nadzorem.