Optimierung von Lookups in Talend mit temporären Tabellen

Bei der Entwicklung von Data Integration Jobs mit Talend gibt es meist die Anforderung, Daten aus zwei unterschiedlichen Quellen miteinander zu verknüpfen. Eine beispielhafte Anwendung hierfür ist z.B. das Nachschlagen von Verkaufspreisen für eine (ca. 900 Einträge kurze) Liste von Büchern. Nehmen wir für diesen Beitrag an, dass uns diese Liste als CSV Datei vorliegt. Bücher haben (meist) eine ISBN, mit der sie eindeutig zu identifizieren sind. Hierdurch haben wir für unsere Aufgabe bereits einen Schlüssel, den wir zur Verknüpfung nutzen können. Weiterhin soll für unser Beispiel in einer PostgreSQL Datenbank eine Tabelle books_masterdata existieren, in der wir u.a. den [...]

21.11.2019: Vortrag – Fehlerbehandlung im ODI: Wenn sich Probleme von selbst lösen (Markus Schneider auf der DOAG 2019)

Unser Oracle-Experte Markus Schneider hält am 21.11.2019 um 10:00 Uhr einen Vortrag zum Thema Fehlerbehandlung im ODI - Wenn sich Probleme von selbst lösen. Key Facts: DATUM: Donnerstag, 21. November 2019 UHRZEIT: 10:00 Uhr ORT: Raum Helsinki, NürnbergConventionCenter Ost, Messezentrum, 90471 Nürnberg   Für den Besuch des Vortrags müssen Sie sich zur DOAG 2019 angemeldet haben: DOAG 2019 Tickets Informationen zur Anreise: https://2019.doag.org/de/praktisches/. Das vollständige DOAG 2019 Vortragsprogramm gibt es hier. Abstract des Vortrags Ein belastbares Fehlermanagement im DWH-Umfeld kann nicht nachträglich hinzugefügt werden, es muss von Anfang an ein integraler Aspekt der ETL-Architektur sein. Das betrifft das Datenmodell genauso [...]

Oracle Data Integrator in der Praxis: Fehlermanagement- Wenn sich Probleme von alleine lösen… (Webinar)

In unserem Webinar aus der Reihe „Oracle Data Integrator in der Praxis“ präsentieren wir Ihnen Best-Practices zum Fehlermanagement, um ein robustes und vorhersagbares Verhalten Ihrer ETL-Logik im Oracle Data Integrator auch in Ausnahmefällen zu garantieren. Melden Sie sich kostenlos an!Jetzt anmelden!   Integration von Fehlerszenarien als Maßnahme des Fehlermanagements im Oracle Data Integrator Ein belastbares Fehlermanagement im DWH-Umfeld kann nicht nachträglich hinzugefügt werden. Es muss von Anfang an ein integraler Aspekt der ETL-Architektur sein. Das betrifft das Datenmodell genauso wie die Struktur der Mappings oder die Ablauflogik der ausführenden Prozesse. Beim Fehlermanagement lassen sich mindestens zwei Klassen von Fehlern [...]

Data Vault mit dem Oracle Data Integrator (Webinar)

In unserem Webinar präsentieren wir Automatisierungsmöglichkeiten im Bereich Data Warehousing am Beispiel des Oracle Data Integrators (ODI). Neben der Vorstellung der Applikation zeigen wir die Vorteile eines agilen Systems für Ihr Unternehmen. Melden Sie sich kostenlos an Jetzt anmelden! Data Vault – Schnell und flexibel Die Datenmodelle vieler bestehenden Warehouse-Lösungen sind entweder rein dimensional oder basieren auf der dritten Normalform. Sie erfüllen damit lediglich veraltete Anforderungen. Data Vault ist eine Methodik, die die Voraussetzungen für ein modernes Data Warehousing bietet. Im Zentrum steht die Agilität: Flexibilität im Datenmanagement und die hochgradige Parallelisierung der Datenladeprozesse beschleunigen die Nutzung der Datenbanken. Die kurzen Ladezeiten ermöglichen eine Prozessoptimierung über [...]

20.11.2018: Vortrag – Data Vault – Codegenerierung mit dem ODI (Markus Schneider auf der DOAG 2018)

          Unser Oracle-Experte Markus Schneider hält am 20.11.2018 um 17:00 Uhr einen Vortrag zum Thema „Data Vault - Codegenerierung mit dem ODI". DATUM: Dienstag, 20. November 2018 UHRZEIT: 17:00 Uhr ORT: Raum Helsinki, NürnbergConventionCenter Ost, Messezentrum, 90471 Nürnberg Für den Besuch des Vortrags müssen Sie sich zur DOAG 2018 angemeldet haben: DOAG 2018 Tickets Informationen zur Anreise: https://2018.doag.org/de/praktisches/. Das vollständige DOAG 2018 Vortragsprogramm gibt es hier. Sie möchten sich mit Markus Schneider austauschen? Vereinbaren Sie vorab einen Gesprächstermin mit uns: Termin online vereinbaren Abstract des Vortrags Der hohe Grad der Standardisierung, die vergleichsweise einfache und einheitliche [...]

20.-22.11.2018: PRODATO auf der DOAG 2018 – Stand 206

          PRODATO ist vom 20. bis 22.11.2018 Aussteller auf der DOAG 2018. Wir freuen uns auf zahlreiche, interessierte Besucher an unserem Stand 206. Die DOAG ist eine Konferenz und Ausstellung zum Thema Oracle und findet vom 20. - 23.11.2018 in Nürnberg statt. Im Rahmen der Veranstaltung gibt es ein dreitägiges Vortragsprogramm, bei dem zahlreiche Branchenexperten Ihr spezifisches Know-how mit den Besuchern teilen. Unser Oracle-Experte Markus Schneider hält am 20.11.2018 um 17:00 Uhr einen Vortrag zum Thema „Data Vault - Codegenerierung mit dem ODI". Nach einer kurzen Einführung in die Data Vault-Grundstrukturen (Hubs, Links, Satellites, Point-In-Time Tables, [...]

Data Vault mit dem Oracle Data Integrator (ODI) (Webinar)

In unserem Webinar präsentieren wir Automatisierungsmöglichkeiten im Bereich Data Warehousing am Beispiel des Oracle Data Integrators (ODI). Neben der Vorstellung der Applikation zeigen wir die Vorteile eines agilen Systems für Unternehmen. Data Vault – Schnell und flexibel Die Datenmodelle vieler bestehenden Warehouse-Lösungen sind entweder rein dimensional oder basieren auf der dritten Normalform. Sie erfüllen damit lediglich veraltete Anforderungen. Data Vault ist eine Methodik, die die Voraussetzungen für ein modernes Data Warehousing bietet. Im Zentrum steht die Agilität: Flexibilität im Datenmanagement und die hochgradige Parallelisierung der Datenladeprozesse beschleunigen die Nutzung der Datenbanken. Die kurzen Ladezeiten ermöglichen eine Prozessoptimierung über verschiedene Technologien (z.B. Big Data-Lösungen) hinweg, da [...]