Tworzenie konektora

Kreator tworzenia konektora prowadzi użytkownika przez pełny proces przygotowania konektora replikacyjnego Kafka Connect: od wyboru typu konektora, przez połączenie z bazą i zakres replikacji, po bardziej zaawansowane parametry oraz końcowe podsumowanie konfiguracji.

System odczytuje konektory i transformaty dostępne w Kafka Connect. Jeżeli w środowisku Kafka Connect zostanie zainstalowany nowy konektor, aplikacja może go automatycznie wykryć i pokazać użytkownikowi jako kolejną opcję w kreatorze, bez konieczności osobnej zmiany w interfejsie.

Krok 1: Wybór typu konektora

Pierwszym krokiem jest wybór klasy konektora, na podstawie której zostanie utworzony pipeline replikacyjny. Lista jest generowana na podstawie konektorów zainstalowanych w wybranym klastrze Kafka Connect i może obejmować zarówno konektory dostarczone z systemem, jak i konektory customowe.

Każda karta pokazuje nazwę konektora, klasę oraz wersję, dzięki czemu użytkownik może potwierdzić, że właściwy plugin jest dostępny przed przejściem dalej.

Krok 2: Zdefiniowanie podstawowych parametrów

Po wyborze typu konektora należy uzupełnić parametry startowe. Najważniejsze pola to:

• Name - unikalna nazwa konektora w Kafka Connect.
• Topic Prefix - prefiks używany przy tworzeniu tematów Kafka dla replikowanych danych.
• Tasks Max - maksymalna liczba tasków konektora.
• Tag - tag GIFROST używany do grupowania i identyfikowania konektora.
• Converters - ustawienia serializacji kluczy i wartości.

Te wartości określają, jak konektor będzie identyfikowany oraz w jaki sposób będzie publikował dane do Kafki.

Krok 3: Wybór połączenia do bazy danych

W kroku połączenia z bazą należy wskazać bazę źródłową, z której konektor będzie czytał dane. Rekomendowaną ścieżką jest użycie zapisanego połączenia z Database Store, ponieważ parametry połączenia mogą być ponownie wykorzystane i zwalidowane przed uruchomieniem konektora.

W razie potrzeby zaawansowani użytkownicy mogą zdefiniować parametry połączenia bezpośrednio w konfiguracji konektora. Przed przejściem dalej warto wykonać walidację, aby potwierdzić, że baza jest osiągalna, a dane dostępowe są poprawne.

Krok 4: Zdefiniowanie zakresu replikacji

Krok Database Wizard służy do wskazania, które schematy, tabele i kolumny mają być replikowane. Użytkownik może wybrać całe schematy, pojedyncze tabele albo konkretne kolumny. Kreator generuje na tej podstawie odpowiednie parametry Debezium, między innymi:

• schema.include.list / schema.exclude.list
• table.include.list / table.exclude.list
• column.include.list / column.exclude.list

Kreator pokazuje również podgląd replikacji, dzięki czemu przed zapisaniem konfiguracji można sprawdzić finalny zakres danych. Szczegółowy opis znajduje się w rozdziale Database Wizard.

Krok 5: Konfiguracja zaawansowanych parametrów replikacji

Pomiędzy wyborem połączenia z bazą a końcowym podsumowaniem kreator udostępnia dodatkowe kategorie konfiguracji. Należy je zmieniać wtedy, gdy konektor wymaga zachowania innego niż domyślne.

Najczęściej używane kategorie zaawansowane to:

• Database Settings - ustawienia specyficzne dla wybranego typu bazy danych.
• Snapshot - sposób wykonania początkowego snapshotu i tryb snapshotu.
• Signal - konfiguracja mechanizmu sygnałów Debezium.
• Connector - parametry działania konkretnego konektora.
• Exactly Once Support - ustawienia związane z gwarancjami exactly-once.
• Events - konfiguracja emitowanych zdarzeń.
• Error Handling - obsługa błędów, retry, tolerancja błędów i dead-letter.

Najważniejsza reguła jest prosta: parametry wymagane powinny być ustawione jawnie, a opcjonalne ustawienia warto zostawić bez zmian, dopóki scenariusz replikacji nie wymaga ich modyfikacji.

Krok 6: Dodanie transformat

Krok Transforms pozwala dodać Kafka Connect Single Message Transforms. System wykrywa transformaty dostępne w środowisku Kafka Connect, w tym także transformaty customowe zainstalowane przez zespół.

Transformaty należy stosować wtedy, gdy rekordy mają zostać przemianowane, wzbogacone, przefiltrowane, zamaskowane albo przekształcone przed zapisaniem do docelowego tematu Kafka. Szerszy opis znajduje się w rozdziale Transformacje danych.

Krok 7: Podsumowanie i uruchomienie

Końcowy krok Summary pokazuje wygenerowaną konfigurację konektora. To ostatnie miejsce, w którym można zweryfikować wybraną bazę danych, klasę konektora, zakres replikacji, transformaty, ustawienia monitoringu oraz surowy JSON.

Po weryfikacji konektor może zostać zapisany i uruchomiony. Podsumowanie pozwala sprawdzić dokładnie tę konfigurację, która zostanie przekazana do Kafka Connect.