HVR - Log-Based logical data replication

== HVR - Log-Based logical data replication ==
Zaprezentowane zostanie narzędzie HVR i jego główne cechy: heterogeniczność, transformacje, ładowanie inicjalne, replikacja DDL i DML

Przemysław Deć,
IT Solutions Architect, Goldenore
goldenore.pl

Transcript

1. Real-Time Replication Use cases
2. Online’owa replikacja logiczna HVR - High Volume Replicator Przemysław Deć | Replication architect
3. Real-Time Replication - kluczowe zastosowania Transformacja i replikacja w czasie rzeczywistym Upgrade bazy danych Test ENV ODS Baza raportowa Hurtownia Danych Big Data Bezprzestojowa migracja i upgrade do najnowszych wersji Bazy raportowe, bazy ODS, transformacje, zmiana struktur Synchronizacja systemów BigData on-premise i działających w chmurze Hurtownia Danych zasilana w czasie rzeczywistym SOA, architektura sterowana zdarzeniami Środowiska testowe z ruchem produkcyjnym, subset danych, anonimizacja Kolejki wiadomości Bazy danych Pliki płaskie / kolejki wiadomości Chmura obliczeniowa Chmura obliczeniowa HA Multimaster Klastry wysokiej dostępności, wydajności HVR
4. Szeroki wybór wspieranych platform HVR
5. Topologie replikacji UNI-DIRECTIONAL BI-DIRECTIONAL MULTI-DIRECTIONAL BROADCAST INTEGRATION / CONSOLIDATION CASCADING HVR
6. HVR kluczowe funkcjonalności
7. Refresh – tworzenie tabel, ładowanie inicjalne ▪ Tworzenie struktur ▪ Spójne i online’owe ładowanie inicjalne ▪ Zintegrowane lub niezależne od replikacji ▪ Shedulowane HVR
8. Capture – odczyt z logów transakcyjnych HVR ▪ Real-time: Odczyt bezpośrednio z dysków z logów transakcyjnych ▪ Complete: odczyt operacji DML i DDL ▪ Low impact: przesyłanie danych skompresowanych ▪ Access to metadata: pobieranie transaction id, użytkownika, timestampu ▪ Filtering: filtry aplikowane do odczytywanej treści lub oparta na lookupach HVR Hub Database Change Logs REAL-TIME CAPTURE
9. Integrate – nanoszenie zmian HVR ▪ Odporne na awarie: dzienniki checkpointów ▪ Real-time: minimalne (micro) sekundowe opóźnienia ▪ Tryb audytowy: przechowywanie historii zmian – obrazy before/after change ▪ Burst: sortowanie i grupowanie zmian ▪ Bulk Load: wykorzystanie szybkich natywnych opcji ładowania danych ▪ Filtering: aplikowanie filtrów na replikowaną treść lub w oparciu o lookup’y Target HVR Hub HVR INTEGRATE
10. Compare – walidacja i naprawa danych HVR ▪ Walidacja: potwierdzenie jakości danych poprzez analizę hashy z baz ▪ Naprawa: wskazanie błędnych wierszy i poleceń ich naprawy ▪ Spójne w czasie: operacje na bazach online, w trakcie replikacji
11. HVR – pozostałe funkcjonalności HVR ▪ Transformacje: modyfikacje treści wiersza, łączenie tabel, „ETL w locie” na poziomie wiersza ▪ Wykorzystanie agentów: wywołanie logiki zewnętrznej, wzbogacenie strumienia danych ▪ Monitoring: opóźnienia replikacji, powiadomienia
12. Demo Ora -> PG -> Ora
13. Demo Ora -> PG - Transformacja on-the-fly