Zarządzanie zasobami Kafka z poziomu panelu.
Moduł Kafka Management umożliwia operatorowi bieżący podgląd i administrację elementami klastra Kafka używanymi przez potoki CDC: topicami, rekordami w topicach, grupami konsumenckimi oraz schematami przechowywanymi w Schema Registry.
Zakres modułu
Kafka Management jest panelem operacyjnym dla administratorów i użytkowników technicznych. Widoki korzystają z aktualnie wybranego klastra Kafka, dlatego operator może szybko przełączać kontekst pracy i analizować zasoby przypisane do konkretnego środowiska. Moduł wspiera typowe czynności diagnostyczne: wyszukiwanie topiców, sprawdzanie liczby rekordów, analizę offsetów, odczyt przykładowych komunikatów, publikowanie rekordów testowych, kontrolę konfiguracji topicu oraz weryfikację schematów danych.
Operator może wykonywać akcje administracyjne z poziomu GUI, bez przechodzenia do narzędzi konsolowych. Widoki pokazują status klastra, zalogowanego użytkownika i aktualny kontekst nawigacji.
Podgląd topiców, rekordów, offsetów i grup konsumenckich pozwala sprawdzić, czy dane są produkowane, konsumowane i przetwarzane zgodnie z oczekiwaniem.
Schema Registry umożliwia kontrolę wersji schematów dla tabel i komunikatów, co ułatwia analizę zgodności danych używanych przez konektory.
Topics
Widok Topics prezentuje listę topiców Kafka dostępnych w wybranym klastrze. Na górze widoku dostępne są metryki agregujące liczbę topiców i liczbę rekordów. Tabela pozwala wyszukiwać topiki, sprawdzać liczbę partycji, liczbę rekordów oraz wykonywać akcje administracyjne, takie jak usuwanie topicu lub przejście do jego szczegółów.
Operator może filtrować topiki po nazwie, sprawdzić wolumen danych oraz wybrać topic do dalszej analizy.
Panel udostępnia akcje wykonywane na topicu, w tym usuwanie oraz przejście do widoku szczegółowego, w którym dostępne są zakładki Consume, Produce, Configuration i Partitions.
Przycisk tworzenia topicu pozwala przygotować nowy topic Kafka zgodnie z parametrami wymaganymi przez przepływ danych lub testy integracyjne.
Szczegóły topicu
Po wejściu w szczegóły topicu panel pokazuje podstawowe parametry, takie jak liczba partycji oraz replication factor. Poniżej dostępne są zakładki służące do konsumowania danych, produkowania komunikatów, edycji konfiguracji i przeglądu partycji.
Consume: pozwala odczytać rekordy z topicu, wybrać zakres od początku albo od aktualnego końca topicu, wskazać partycje, limit i offset oraz przeszukiwać wynik.
Produce: umożliwia opublikowanie komunikatu testowego lub technicznego do topicu, co jest przydatne podczas weryfikacji integracji i zachowania konsumentów.
Configuration: udostępnia parametry topicu, walidację zmian oraz aktualizację konfiguracji, na przykład ustawień retencji i segmentów.
Partitions: pokazuje informacje o partycjach, co pomaga analizować rozkład danych, offsety i zachowanie konsumentów.
Consumer Groups
Widok Consumer Groups służy do podglądu konsumentów aplikacyjnych działających w klastrze Kafka. Operator widzi identyfikator grupy, status oraz typ grupy. Dzięki temu można szybko ocenić, czy aplikacje konsumujące dane są aktywne, stabilne albo nie posiadają aktualnie przypisanych konsumentów.
Statusy, takie jak stable lub empty, pomagają określić, czy grupa konsumencka ma aktywnych członków i czy jej stan jest poprawny.
Group ID umożliwia powiązanie grupy z konkretną aplikacją, konektorem lub procesem, który konsumuje dane z Kafka.
Panel udostępnia akcje administracyjne, takie jak usunięcie nieużywanej grupy, gdy jest to wymagane przez procedury utrzymaniowe.
Schema Registry
Widok Schema Registry prezentuje schematy zarejestrowane dla topiców, tabel i komunikatów używanych przez przepływy CDC. Dla każdego subjectu panel pokazuje typ, nazwę, aktualną wersję oraz liczbę wersji. Dzięki temu administrator może kontrolować kontrakty danych oraz zmiany schematów używane przez konektory i aplikacje konsumujące.
Lista subjectów pozwala znaleźć schematy kluczy i wartości dla tabel oraz komunikatów technicznych, takich jak sygnały lub zdarzenia pomocnicze.
Panel umożliwia porównywanie wersji schematów, co pomaga ocenić, jakie zmiany zostały wprowadzone i czy są zgodne z oczekiwanym kontraktem danych.
Użytkownik może dodawać nowe subjecty, edytować istniejące definicje oraz usuwać schematy, jeśli wymaga tego proces utrzymania środowiska.