Przewodniki po funkcjach
Konektory i szablony potoków danych
Dwie galerie przyspieszają tworzenie potoków danych na DataFlow AI Platform. Rynek konektorów to miejsce, w którym przeglądasz i instalujesz konektory danych łączące potoki danych z systemami źródłowymi i docelowymi Polkomtel — 21 konektorów obejmujących bazy danych, pliki, chmurowe hurtownie, streaming, SaaS, CDC i telekomunikacyjne formaty CDR. Galeria Szablony potoków danych to miejsce, w którym rozpoczynasz nowy potok danych od gotowego, wyselekcjonowanego planu zamiast od pustej kanwy.
Rynek konektorów
Rynek konektorów pozwala przeglądać, wyszukiwać i instalować konektory danych dla twoich potoków danych. Jest podłączony na żywo: strona wywołuje GET /api/v1/connectors/marketplace, które zwraca listę konektorów z ConnectorMarketplaceController w metadata-service, odczytującego zaseedowaną tabelę connector_catalog. Nie ma danych zastępczych po stronie klienta.
Trasa: /marketplace. Plik wejściowy: src/pages/ConnectorMarketplace.tsx. Kto z tego korzysta: inżynierowie danych i administratorzy platformy.
Układ ekranu
+----------------------------------------------------------------------+
| CONNECTOR MARKETPLACE 21 connectors |
| |
| [ Search connectors... ] Status: [ All v ] |
| |
| [ All ][ Databases ][ File Formats ][ Cloud Services ] |
| [ Streaming ][ REST APIs ][ Custom ] |
| |
| +----------------+ +----------------+ +----------------+ |
| | [icon] Teradata| | [icon] Snowfl. | | [icon] Kafka | |
| | Vendor · v1.x | | Vendor · v1.x | | Vendor · v1.x | |
| | [Available] | | [Installed] | | [Available] | |
| | Description... | | Description... | | Description... | |
| | [tag][tag] | | [tag][tag] | | [tag][tag] | |
| | * 4.6 1.2k dl | | * 4.8 3.4k dl | | * 4.5 890 dl | |
| | [ Install ] | | [New Connection]| | [ Install ] | |
| +----------------+ +----------------+ +----------------+ |
+----------------------------------------------------------------------+
Elementy sterujące UI
| Element sterujący | Zachowanie |
|---|---|
| Liczba konektorów | Nagłówek pokazuje liczbę na żywo zwracaną przez API |
| Pole wyszukiwania | Filtruje siatkę kart według nazwy konektora |
| Filtr statusu | All / Available / Installed / Beta |
| Karty kategorii | All, Databases, File Formats, Cloud Services, Streaming, REST APIs, Custom |
| Karta konektora | Ikona emoji, nazwa, dostawca + wersja, plakietka statusu, opis, pigułki tagów, ocena gwiazdkowa, liczba pobrań |
| Przycisk Install | Instaluje dostępny konektor |
| Przycisk New Connection | Pokazywany na zainstalowanych kartach; otwiera kreatora połączeń |
Strona renderuje jawne stany ładowania, błędu z ponowieniem oraz pusty (identyfikatory testowe connectors-loading, connectors-error, connectors-empty, connectors-grid, connector-card).
Dlaczego zwykły fetch
Rynek celowo używa zwykłego fetch('/api/v1/connectors/marketplace') zamiast React Query i współdzielonego interceptora Axios. Wyścig ponownego renderowania przy hydracji uwierzytelniania wcześniej zostawiał stronę zablokowaną na spinnerze; pobranie typu fire-and-forget omija anulowanie żądania. credentials:'include' jest celowo pominięte, aby uniknąć zacięcia strumienia treści w Chromium.
21 konektorów
Framework konektorów znajduje się w module biblioteki connector-sdk, który definiuje kontrakt konektora (ConnectorSDK.kt) i dostarcza 21 implementacji konektorów. Konektory są odkrywane w czasie wykonania poprzez ConnectorRegistry oparty na ServiceLoader z Javy. Możliwości, które konektor może deklarować, obejmują odkrywanie schematu, odczyt, zapis, projekcję kolumn, przepychanie predykatów, ewolucję schematu, streaming, partycjonowanie, kompresję, magazyn chmurowy i zapis wsadowy.
| Kategoria | Konektory |
|---|---|
| Bazy danych (JDBC) | PostgreSQL, MySQL, MSSQL, Oracle, Sybase, Teradata, SAP HANA |
| Chmurowe hurtownie | BigQuery, Databricks, Snowflake |
| Formaty plików | CSV, JSON, XML, Excel, Parquet |
| Streaming i komunikaty | Kafka, Pub/Sub, Event Hubs |
| SaaS / ERP | Salesforce, ServiceNow, SAP, REST API |
Ponadto SDK zapewnia przekrojowe wsparcie CDC (change-data-capture) za pośrednictwem Debezium dla binlogu MySQL, śledzenia zmian MSSQL i strumieni zmian MongoDB, plus konektor NoSQL MongoDB.
Telekomunikacyjny konektor CDR
Dedykowany konektor CDR (cdr/) obsługuje telekomunikacyjne rekordy szczegółów połączeń Polkomtel. Zawiera dekoder ASN.1, dekoder binarny CDR, konwerter Parquet, politykę znaczników wodnych oraz metryki konektora. Dostarcza trzy szablony rekordów roamingowych, walidowane przez RoamingTemplateValidator:
| Szablon | Format telekomunikacyjny |
|---|---|
Tap3Template | TAP3 — Transferred Account Procedure, standard rozliczania użycia roamingu między operatorami |
RapTemplate | RAP — Returned Account Procedure, używany do zwracania odrzuconych rekordów TAP |
NrtrdeTemplate | NRTRDE — Near Real Time Roaming Data Exchange, do szybkiego wykrywania nadużyć w użyciu roamingu |
Natywne dla telekomunikacji
TAP3, RAP i NRTRDE nie są generycznymi formatami plików — są to konkretne binarne formaty rekordów roamingowych używane przez operatorów mobilnych. Konektor CDR dekoduje je bezpośrednio za pomocą ASN.1, więc Polkomtel może pobierać użycie roamingu i uruchamiać kontrole nadużyć bez osobnego etapu dekodowania.
Katalog konektorów
Pełną referencję poszczególnych konektorów — każdy parametr konfiguracji, metodę uwierzytelniania, możliwość oraz przykład YAML dla wszystkich 21 konektorów — znajdziesz na dedykowanej stronie Katalog konektorów. Grupuje ona konektory według kategorii:
| Kategoria | Konektory |
|---|---|
| Relacyjne bazy danych (JDBC) | PostgreSQL, MySQL, Oracle, MSSQL, Teradata, SAP HANA, Sybase |
| Baza danych NoSQL | MongoDB |
| Chmurowe hurtownie danych | Snowflake, Databricks, BigQuery |
| Streaming | Kafka, CDC (Debezium) |
| Formaty plików | CSV, Excel, JSON, Parquet, XML |
| SaaS / ERP | Salesforce, SAP ERP, ServiceNow, REST API |
| Telekomunikacyjne CDR | CDR (ASN.1) — z formatami roamingowymi TAP3, NRTRDE i RAP |
Katalog zawiera również pogłębioną sekcję na temat konektora cdr-asn1, obejmującą potok dekodowania ASN.1 oraz trzy formaty rozliczeń roamingowych GSMA.
Galeria szablonów potoków danych
Galeria szablonów potoków danych pozwala przeglądać, wyszukiwać i instancjonować gotowe szablony potoków danych zamiast budować od zera. Jest podłączona na żywo: strona wywołuje GET /api/v1/templates/catalog, które zwraca szablony z PipelineTemplateController w metadata-service (mapując wiersze pipeline_templates, w tym złożoność, liczbę użyć i szacowany czas konfiguracji w minutach). Nie ma danych zastępczych.
Trasa: /templates. Plik wejściowy: src/pages/PipelineTemplates.tsx. Kto z tego korzysta: wszyscy twórcy potoków danych.
Układ ekranu
+----------------------------------------------------------------------+
| PIPELINE TEMPLATES N templates |
| |
| [ Search templates... ] Sort: [ Most Used v ] |
| |
| [ All ][ ETL ][ CDC ][ Analytics ][ Migration ] |
| [ Quality ][ Fraud Detection ] |
| |
| +--------------------------+ +--------------------------+ |
| | Telecom Subscriber-360 | | SAP HANA Replication | |
| | [advanced] | | [intermediate] | |
| | Description... | | Description... | |
| | [tag][tag] | | [tag][tag] | |
| | * 4.7 (24) Used 312x | | * 4.5 (18) Used 140x | |
| | ~45 min setup | | ~20 min setup | |
| | [ Use Template ] | | [ Use Template ] | |
| +--------------------------+ +--------------------------+ |
+----------------------------------------------------------------------+
Elementy sterujące UI
| Element sterujący | Zachowanie |
|---|---|
| Liczba szablonów | Nagłówek pokazuje liczbę zwracaną przez API |
| Pole wyszukiwania | Filtruje siatkę kart według nazwy szablonu |
| Lista rozwijana sortowania | Highest Rated / Most Used / Recently Updated |
| Karty kategorii | All, ETL, CDC, Analytics, Migration, Quality, Fraud Detection |
| Karta szablonu | Nazwa, plakietka złożoności, opis, pigułki tagów, ocena gwiazdkowa + liczba, liczba użyć, szacowany czas konfiguracji w minutach |
| Przycisk Use Template | Instancjonuje szablon w Studiu Projektowym |
Każda karta niesie plakietkę złożoności — beginner (szmaragdowy), intermediate (bursztynowy) lub advanced (czerwony) — abyś mógł wybrać szablon dopasowany do twojego poziomu doświadczenia.
Szablon Telecom Subscriber-360
Flagowym telekomunikacyjnym planem galerii jest szablon Subscriber-360 — telekomunikacyjny szablon P0 (priorytet zerowy), który składa zunifikowany, 360-stopniowy widok abonenta Polkomtel. Ma własną dedykowaną stronę docelową pod /telecom/subscriber-360 (wejście Subscriber360TemplatePage), oprócz pojawiania się jako karta w galerii.
Subscriber-360 łączy domeny danych opisujące abonenta — CRM, rozliczenia, sieć i CDR — w jeden skonsolidowany zbiór danych, rodzaj fundamentu używanego w dół strumienia do modelowania rezygnacji, analizy ARPU i kampanii retencyjnych. Ponieważ obejmuje wiele źródeł i złączeń, niesie zaawansowaną plakietkę złożoności.
Jak z tego korzystać — ścieżki kliknięć
Dodaj konektor
- Otwórz Rynek konektorów pod
/marketplace. - Zawęź siatkę — wybierz kartę kategorii (np. Databases) lub wpisz tekst w polu wyszukiwania.
- Opcjonalnie ustaw filtr Status na Available, aby ukryć już zainstalowane konektory.
- Na wybranym konektorze kliknij Install.
- Po zainstalowaniu karta pokazuje przycisk New Connection — kliknij go, aby otworzyć kreatora połączeń pod
/connections/new?connector={id}. - Ukończ kreatora, aby zarejestrować używalne połączenie dla twoich potoków danych.
Za kulisami: zwykły fetch('/api/v1/connectors/marketplace') wypełnia siatkę; kreator połączeń (ConnectionWizard, api/connections.ts) rejestruje nowe połączenie.
Rozpocznij od szablonu
- Otwórz galerię szablonów potoków danych pod
/templates. - Wybierz kartę kategorii (np. ETL, CDC lub Fraud Detection) lub wyszukaj według nazwy.
- Posortuj siatkę za pomocą listy rozwijanej Sort — przełącz na Most Used, aby uwidocznić sprawdzone w boju szablony.
- Sprawdź plakietkę złożoności każdej karty i szacowany czas konfiguracji w minutach.
- Kliknij Use Template na wybranym szablonie.
- Zostajesz przekierowany do
/design-studio?template={templateId}, gdzie Studio Projektowe otwiera się wstępnie wypełnione węzłami i konfiguracją szablonu. - Dostosuj gotowy potok danych według potrzeb, zwaliduj i wdróż.
W przypadku konkretnie szablonu Subscriber-360 możesz również otworzyć jego dedykowaną stronę pod /telecom/subscriber-360 i rozpocząć stamtąd.
Za kulisami: zwykły fetch('/api/v1/templates/catalog') wypełnia galerię; wybranie szablonu przekazuje templateId do Studia Projektowego, które ładuje definicję szablonu na kanwę.
Szablony to punkty startowe
Instancjonowanie szablonu daje ci edytowalną kopię w Studiu Projektowym — nie jest to zablokowany, zarządzany obiekt. Przejrzyj i dostosuj połączenia, schematy i kontrole jakości przed wdrożeniem do środowiska przejściowego lub produkcyjnego.
Za kulisami — podsumowanie API
| Możliwość | API / źródło |
|---|---|
| Lista rynku konektorów | GET /api/v1/connectors/marketplace → ConnectorMarketplaceController → tabela connector_catalog |
| Lista katalogu szablonów | GET /api/v1/templates/catalog → PipelineTemplateController → tabela pipeline_templates |
| Rejestracja połączenia | ConnectionWizard + api/connections.ts |
| Framework konektorów | Biblioteka connector-sdk — ConnectorSDK.kt, ConnectorRegistry.kt, 21 konektorów w impl/ |
| Typowany moduł szablonów | api/pipelineTemplates.ts |
Komponenty UI konektorów znajdują się w src/components/connections/ (ConnectorTypeCard, ConnectionWizard, DatabaseIcons). Obie galerie celowo omijają React Query na rzecz pobrania typu fire-and-forget, aby uniknąć wyścigu anulowania przy hydracji uwierzytelniania.