Modelowanie różnych topologii replikacji.
GIFRÖST może działać jako warstwa replikacyjna oparta o Kafkę zarówno dla prostych przepływów baza-baza, jak i dla bardziej złożonych modeli dystrybucji. Konektory źródłowe publikują zmiany do Kafki, a konektory docelowe subskrybują wybrane topiki i zapisują dane do jednego lub wielu systemów docelowych.
Przegląd topologii
W GIFRÖST topologia replikacji nie ogranicza się do jednego bezpośredniego połączenia między dwiema bazami. Topologia jest budowana z instancji konektorów, topiców Kafka, mapowań tabel, reguł routingu, transformacji oraz subskrypcji konektorów docelowych. Dzięki temu można modelować typowe wzorce CDC używane przy migracjach, raportowaniu, dystrybucji danych, modernizacji systemów i architekturach wysokiej dostępności.
Kafka pełni rolę centralnej warstwy wymiany. Konektory źródłowe przechwytują zmiany i zapisują je do topiców, a konektory docelowe odczytują te topiki i aplikują dane w systemach docelowych.
Obsługiwane wzorce
Jedna baza źródłowa zasila jeden system docelowy. To najprostsza topologia dla migracji, synchronizacji, wymiany systemu albo dedykowanej kopii raportowej.
Wiele systemów źródłowych publikuje zmiany do Kafki, a jeden cel konsumuje skonsolidowany wynik. Ten model jest typowy dla hurtowni danych, data martów, repozytoriów audytowych i platform raportowania operacyjnego.
Jedna baza źródłowa dystrybuuje zmiany do wielu celów. Każdy cel może otrzymać pełny strumień albo jego wybrany podzbiór, zależnie od subskrypcji topiców, transformacji i routingu.
Kafka działa jako centralny hub zdarzeń między wieloma źródłami i wieloma celami. Zmniejsza to liczbę bezpośrednich zależności, ponieważ producentów i konsumentów można dodawać niezależnie.
System pośredni może stać się źródłem dla kolejnego systemu docelowego. To użyteczne, gdy replikacja jest etapowana według regionu, strefy sieciowej, warstwy przetwarzania albo granicy odpowiedzialności.
Oracle GoldenGate opisuje topologie replikacji takie jak one-to-many i cascading w high availability best practices overview oraz warianty broadcast w Advanced Topologies. PostgreSQL logical replication opisuje model przepływu publisher/subscriber w Logical Replication.