Optimierung von Lookups in Talend mit temporären Tabellen

Bei der Entwicklung von Data Integration Jobs mit Talend gibt es meist die Anforderung, Daten aus zwei unterschiedlichen Quellen miteinander zu verknüpfen. Eine beispielhafte Anwendung hierfür ist z.B. das Nachschlagen von Verkaufspreisen für eine (ca. 900 Einträge kurze) Liste von Büchern. Nehmen wir für diesen Beitrag an, dass uns diese Liste als CSV Datei vorliegt. Bücher haben (meist) eine ISBN, mit der sie eindeutig zu identifizieren sind. Hierdurch haben wir für unsere Aufgabe bereits einen Schlüssel, den wir zur Verknüpfung nutzen können. Weiterhin soll für unser Beispiel in einer PostgreSQL Datenbank eine Tabelle books_masterdata existieren, in der wir u.a. den [...]

Aufbereitung von Daten für das Reporting mit Jaspersoft im Sinne der Drei-Schichten-Architektur

Die Drei-Schichten-Architektur beschreibt das Konzept, eine Software-Lösung in drei Schritte zu unterteilen: In Präsentationsschicht, Logikschicht und Datenhaltungsschicht. Die oberste Schicht ist hierbei für die Präsentation und Nutzerinteraktion gedacht. Diese kann z.B. durch einen Jasper-Report realisiert werden. Im Gegensatz dazu stellt die unterste Schicht (Datenhaltungsschicht) die Rohdaten dar, die in den Jasper-Report einfließen, z.B. Verkaufsdaten in einer Tabelle in einer Datenbank. In diesem Beitrag betrachte ich die mittlere Schicht (Logikschicht) einmal genauer. Diese Ebene beschreibt die Verarbeitung der Rohdaten (z.B. Selektion und Verrechnung), bevor diese angezeigt werden. Für diesen Schritt kann der Anwender eine Datenabfrage bei der Erstellung eines Jasper-Reports im Jaspersoft Studio [...]

In-Memory Computing

In-Memory Computing Im Management eines Unternehmens müssen kurzfristig nachhaltige Entscheidungen getroffen werden. Immer schneller wollen Manager auf Basis aktueller Zahlen auf veränderte Rahmenbedingungen reagieren. Mithilfe der In-Memory Plattform SAP HANA bietet SAP eine Softwarelösung, die schnellere Analysen in Echtzeit ermöglicht. Da SAP HANA ohne Datenmanagement und Zwischenspeicherungen auskommt, lassen sich auch neuartige Anwendungen mit hohem Datendurchsatz ausführen. SAP In-Memory Plattform SAP HANA ist die In-Memory Datenbank von SAP. Neben der reinen Datenbank bietet die Plattform auch Funktionsbibliotheken für statistische Datenanalysen, geografische Auswertungen und Text-Mining. Diverse SAP-Werkzeuge erleichtern die Migration zu SAP HANA. So lassen sich [...]