Über Dr. Philipp Baumgärtel

Ich habe im Bereich Datenbanken an der Universität Erlangen-Nürnberg promoviert. Aktuell arbeite ich als Senior Consultant bei PRODATO an Projekten mit Fokus auf Daten- und Anwendungsintegration.

Datenintegration mit Data Virtualization

In fast allen Projekten ist Datenintegration ein Thema, das angegangen werden muss. Legacy Systeme, Daten aus verschiedenen Fachbereichen und sogar Daten, die per Datei ausgetauscht werden, müssen konsolidiert und kombiniert werden. Probleme des klassischen Ansatzes Für die Datenbereinigung und die Integration der Daten werden klassischerweise ETL-Jobs (extract, transform, load) verwendet. Ein meist nächtlicher Job lädt Daten aus den verschiedenen Quellen in eine Zieldatenbank. Diese Daten können dann für Reports, Dashboards und Anwendungen verwendet werden. Dieser klassische Ansatz bringt mehrere Probleme mit sich. Einerseits sind die Daten bei ihrer Verwendung bereits wieder veraltet, denn ein Job, der eine große Menge an [...]

Datenzentrierte Tests in der Praxis: Komponenten- und Integrationstests für Talend-Jobs mit JUnit (Teil 3)

Im letzten Blog-Eintrag haben wir  gezeigt, wie DbUnit und WireMock verwendet werden können, um externe Abhängigkeiten für Komponententests von Talend-Jobs zu mocken. Vorrausetzung dabei war ein herkömmlicher Talend-Job, der als Nexus Artefakt vorliegt. Die ESB Variante von Talend erlaubt es aber nun auch, Services, z.B. REST-Services, mit Talend zu erstellen. Diese werden dann als OSGI-Bundle in einer Talend-Runtime deployed. In einer klassischen Java EE Anwendung können Services per Arquillian getestet werden. Arquillian ermöglicht es, JARs und WARs zum Testen zu generieren, auf einen Applikationserver zu deployen und dort Tests auszuführen. Glücklicherweise basiert die Talend-Runtime auf einem Apache Karaf Server und [...]

Datenzentrierte Tests mit Talend: Komponenten- und Integrationstests für Talend-Jobs mit JUnit (Teil 2)

Der erste Teil dieser Blogreihe lieferte einen Überblick über Ebenen, auf denen automatisierte Tests durchgeführt werden können. Neben Unit-Tests, für die Talend bereits Möglichkeiten bereitstellt, wurde besonders auf Komponenten-, Integrations- und End-to-End-Tests eingegangen. Allein die Tatsache, dass sich ein Talend-Job aus JUnit heraus testen lässt, bietet noch keinen Mehrwert gegenüber der Alternative einen dedizierten Test-Talend-Job zu verwenden. In diesem Teil der Blogreihe sollen nun mit DbUnit und WireMock zwei Techniken aus dem Java-Test-Umfeld vorgestellt werden, die das Testen eines Talend-Jobs vereinfachen. Techniken zum datenzentrierten Testen aus dem Java-Test-Umfeld - Ein Beispiel Im folgenden Beispiel wird ein einfacher Testjob verwendet, der [...]

Datenzentrierte Tests in der Praxis: Komponenten- und Integrationstests für Talend-Jobs mit JUnit (Teil 1)

Individuelle Wünsche der Kunden stellen einen Entwickler immer wieder aufs Neue vor Herausforderungen bei der Konzipierung neuer Systemlösungen. Häufig müssen Technologien entsprechend modelliert und angepasst werden, um den Anforderungen des Kunden nachzukommen. Unsere Consultants und Engineers konzipieren im Projektgeschäft passgenaue IT-Lösungen entsprechend der Wünsche im Kundenauftrag. Hierbei setzen wir auf die Produkte unserer Technologiepartner: Als wertvolles Tool für das Datenmanagement haben sich die Softwarelösungen von Talend bewährt, die wir strategisch kombinieren und nach den Anforderungen des Kunden anpassen. Im Anschluss an die Ausarbeitung des Lösungskonzepts steht die Entwicklung des Prototypen im Vordergrund. Um eine möglichst überzeugende Lösung anbieten zu [...]