24.02.2022: Data Vault – Codegenerierung mit dem Oracle Data Integrator

Der hohe Grad der Standardisierung, die einfache und einheitliche Importlogik und die klare Trennung der Schichten ermöglicht eine weitgehend automatische Erzeugung der Importlogik für ein Data Vault-Modell.

Code-Generierung lohnt sich nicht nur, sie ist bei Data Vault notwendig. Die hohe Anzahl der Datenstrukturen und der damit verbundenen Ladeprozesse sind mit manueller Modellierung nur schwer zu bewältigen.

Code-Generierung dient primär der Entlastung der Entwickler von repetitiven Tätigkeiten und schafft die Voraussetzung für schnelle und agile Projekte. Darüber hinaus ist generierter Code standardisiert und hat eine einheitliche Qualität.

Dabei muss nicht unbedingt ein Generator gekauft werden. Man kann auch das bereits im Projekt verwendete ETL-Werkzeug erweitern, um die Logik zur Beladung zu erzeugen. Am Beispiel des Oracle Data Integrators (ODI) wird gezeigt, dass mit einem eigenen Generator nicht nur SQL-Statements erzeugt werden, sondern direkt Mappings im ETL-Werkzeug, so dass kein „Medienbruch“ zur manuellen Modellierung entsteht.

• Motivation
  • Konkrete DWH-Projekt im Retail-Bereich
  • Strategische Ziele an ein neues DWH
  • Vorteile durch Umstellung auf Data Vault und Code-Generierung

• Data Vault – Kurzeinführung
  • Architektur
  • Grundprinzipien
  • Hubs, Links, Satellites

• Code – Generierung
  • Vorteile / Nachteile
  • Bewertung im Data Vault – Umfeld
  • Generator kaufen vs. Generator selbst entwickeln

• Code-Generator für den Oracle Data Integrator
  • Java-Applikation zum Erzeugen der DDL-Statements der Tabellen und der ODI-Mappings
  • Metamodell des Generators
  • ODI Integration Knowledge Module zum Befüllen der Data Vault-Strukturen

• Live-Demo