Interfejsy GUI
GIFRÖST udostępnia graficzny interfejs użytkownika do konfiguracji, uruchamiania i monitorowania przepływów replikacji. Adres panelu zależy od konkretnej instalacji i konfiguracji środowiska, dlatego jest przekazywany jako element wdrożenia.
Interfejs jest centralnym miejscem pracy operatora. Pozwala tworzyć źródła i cele replikacji, konfigurować konektory za pomocą parametrów, wybierać sposób zasilania danych, monitorować działające przepływy, wyzwalać zasilanie inicjalne na żądanie oraz obsługiwać zdarzenia automatyzowane przez moduły monitoringu i akcji.
Centrum operacyjne
Dashboard prezentuje stan konektorów w formie tabelarycznej i graficznej. Operator może filtrować konektory po nazwie, typie, statusie i klastrze, szybko przejść do szczegółów konfiguracji, uruchamiać akcje oraz eksportować konfigurację do JSON.
Widok tabelaryczny jest przeznaczony do szybkiej pracy operacyjnej: pokazuje typ konektora, status, bazę danych, liczbę tematów, metryki przepływu, liczbę wysłanych lub odebranych komunikatów, fazę przetwarzania oraz właściciela konfiguracji.
Widok grafowy ułatwia analizę zależności między źródłami, tematami Kafka i celami. Dzięki temu można szybko zweryfikować, które elementy tworzą dany przepływ replikacji oraz gdzie znajduje się aktualny punkt przetwarzania.
Konfiguracja replikacji
GUI prowadzi użytkownika przez pełną konfigurację przepływu replikacji:
- wybór konektora źródłowego,
- wskazanie lub utworzenie połączenia do bazy źródłowej,
- konfigurację parametrów konektora,
- wybór trybu zasilania, w tym zasilania inicjalnego i dalszego streamingu zmian,
- wybór tematów Kafka używanych jako centralna warstwa przepływu danych,
- wybór konektora docelowego,
- konfigurację celu replikacji,
- zapisanie konfiguracji i uruchomienie jej na wybranym klastrze Kafka Connect.
Ekran wyboru źródła umożliwia rozpoczęcie konfiguracji od technologii bazy źródłowej. Dostępne są między innymi konektory Debezium dla PostgreSQL, Oracle, MySQL, SQL Server, Db2, MongoDB i Informix.
Ekran wyboru celu pozwala określić, gdzie dane mają zostać zapisane. Obsługiwane są cele JDBC, MongoDB Sink oraz systemy składowania danych, takie jak HDFS i AWS S3.
Config Store i bezpieczeństwo danych dostępowych
Konfiguracje konektorów i połączeń mogą być zapisywane w centralnym repozytorium konfiguracji, pełniącym rolę Config Store. Dzięki temu raz przygotowane definicje połączeń, parametry konektorów i ustawienia przepływów mogą być ponownie używane w kolejnych konfiguracjach.
Config Store wspiera:
- zapisywanie konfiguracji źródeł, celów i konektorów w bazie danych,
- ponowne używanie konfiguracji między modułami,
- przechowywanie historii konfiguracji i zmian operacyjnych,
- ograniczenie ręcznego przepisywania parametrów,
- spójne użycie tych samych połączeń w replikacji, monitoringu, porównywaniu danych i kreatorach konfiguracji.
Dane uwierzytelniające są obsługiwane jako chroniona część konfiguracji. Pozwala to ograniczyć ekspozycję haseł i używać zapisanych połączeń pomiędzy modułami bez każdorazowego ręcznego przekazywania credentials. Mechanizm ten jest powiązany z modułem Database Store, który przechowuje i udostępnia definicje połączeń bazodanowych.
Monitoring tabel i zasilanie na żądanie
Widok szczegółów konektora pozwala obserwować replikowane tematy i tabele. Operator ma dostęp do liczby rekordów, typów zdarzeń, statusu istnienia tematu oraz akcji wykonywanych na konkretnych tabelach.
Dla wybranych tabel można wyzwolić ponowne zasilanie inicjalne na żądanie. Taki mechanizm jest przydatny, gdy tabela wymaga ponownego załadowania, rekalkulacji stanu początkowego albo zsynchronizowania po zmianie konfiguracji.
Zakładka monitoringu prezentuje metryki pracy konektora, w tym aktywność, zdarzenia tworzenia, aktualizacji, usunięcia i filtrowania. Ułatwia to bieżącą ocenę jakości przepływu oraz szybkie wykrywanie przerw w replikacji.
Topologia i analiza przepływu
GUI pokazuje topologię konektora oraz kroki przetwarzania danych. Operator może sprawdzić, z jakiego źródła pochodzi strumień, jakie transformacje są wykonywane i do którego klastra lub komponentu trafiają dane.
Centralnym elementem architektury jest Kafka i tematy, które stanowią serce przepływu danych. Na tej warstwie można prowadzić monitoring, diagnostykę, ponowne zasilanie wybranych tabel oraz rekoncyliację danych. Moduł Compare wykorzystuje ten kontekst do kontroli spójności danych między źródłem i celem.
Automatyzacja, taski i akcje
Interfejs obsługuje także zadania operacyjne związane z monitorami, taskami i akcjami. Pozwala to automatyzować reakcje na zdarzenia, takie jak zatrzymanie konektora, brak metryk, opóźnienie przepływu, błąd przetwarzania albo potrzeba wykonania operacji administracyjnej.
Mechanizmy automatyzacji są opisane w rozdziałach Monitoring & Alerting oraz Akcje. Dzięki temu GUI nie jest jedynie panelem konfiguracyjnym, ale także miejscem sterowania operacyjnego: pozwala obserwować stan środowiska, uruchamiać czynności na żądanie i wiązać zdarzenia z reakcjami systemu.
Ergonomia pracy
GUI zostało zaprojektowane jako czytelny i ergonomiczny interfejs dla zespołów utrzymujących replikację danych. Najważniejsze operacje są dostępne z poziomu jednego panelu: konfiguracja źródeł i celów, podgląd topologii, monitoring, eksport konfiguracji, zarządzanie parametrami, ponowne użycie połączeń oraz obsługa zdarzeń operacyjnych.
Takie podejście ogranicza liczbę ręcznych czynności, zmniejsza ryzyko błędów konfiguracyjnych i pozwala zarządzać replikacją jako spójnym procesem, a nie zbiorem niezależnych plików, skryptów i ręcznie utrzymywanych definicji.
Katalog konektorów jest rozszerzalny. Dodatkowe standardowe, niestandardowe lub własne pluginy Kafka Connect mogą zostać dodane do środowiska i udostępnione w interfejsie, jeżeli wymaga tego projekt.