Optimierung von Lookups in Talend mit temporären Tabellen

Bei der Entwicklung von Data Integration Jobs mit Talend gibt es meist die Anforderung, Daten aus zwei unterschiedlichen Quellen miteinander zu verknüpfen. Eine beispielhafte Anwendung hierfür ist z.B. das Nachschlagen von Verkaufspreisen für eine (ca. 900 Einträge kurze) Liste von Büchern. Nehmen wir für diesen Beitrag an, dass uns diese Liste als CSV Datei vorliegt. Bücher haben (meist) eine ISBN, mit der sie eindeutig zu identifizieren sind. Hierdurch haben wir für unsere Aufgabe bereits einen Schlüssel, den wir zur Verknüpfung nutzen können. Weiterhin soll für unser Beispiel in einer PostgreSQL Datenbank eine Tabelle books_masterdata existieren, in der wir u.a. den [...]

11.11.2020: Datenstrategien als Erfolgsfaktor für datengetriebene Organisationen

Veranstaltung im Rahmen des NÜRNBERG DIGITAL FESTIVALS REMOTE Die fortwährende Digitale Transformation führt dazu, dass Ihnen als Unternehmen immer größere Datenmengen immer schneller zur Verfügung stehen. Der zweckmäßiger Umgang mit diesen Daten ist Voraussetzung für gute unternehmerische Entscheidungen. Eine Datenstrategie unter Berücksichtigung ihrer Unternehmensstrategie hilft dabei, die relevanten Datenquellen zu identifizieren, den Umgang mit den Daten zu konzeptionieren und den Beitrag ihrer Daten zur Erreichung der Unternehmensziele zu steuern. In Unternehmen und Organisationen ist die Datenstrategie ein wesentlicher Erfolgsfaktor und sollte die Ausgangsbasis im Design von Business Intelligence, Data Warehouse und Big Data Anwendungen sein. Wir geben in dem Vortrag [...]

Continuous Integration, Continuous Delivery und Deployment mit TIBCO Jaspersoft

Wie Sie dem Blog-Beitrag Continuous Integration, Continuous Delivery und Deployment in BI-Projekten entnehmen können, ist uns durch die Betreuung aktueller Kundenprojekte klargeworden, dass in BI-Projekten die neu entwickelten bzw. angepassten Artefakte noch häufig mittels händischer Prozesse bereitgestellt werden und dies neben Mehraufwand immer auch eine potentielle Fehlerquelle darstellt. Im Folgendem stellen Wir Ihnen einen Lösungsansatz für die Berichtsentwicklung und -wartung mit TIBCO Jaspersoft unter Einsatz von automatisierten Prozessen vor. Dieser Beitrag fokussiert die Verwendung des TIBCO Jaspersoft Studios sowie des Jaspersoft Reportservers. Beim Einsatz der JasperReports Library zur Ausführung von Berichten ist das im Folgenden beschriebene Verfahren nicht relevant. Um [...]

Parallelisierungsmöglichkeiten mit Talend

In Hinsicht auf Talend bedeutet Parallelisierung das parallele Ausführen von Prozessen. Damit können die zur Verfügung stehenden Ressourcen genutzt und die Performance verbessert werden. Bei umfangreichen Prozessen ist die Parallelisierung ein wichtiger Aspekt. Bevor man mit der Parallelisierung eines Jobs beginnt, sollte man sich allerdings über den einzelnen Talend Job und den dazugehörigen Prozess im Klaren sein. Der Workflow und die Prozessschritte sollten definiert sein. Daraus kann die Kenntnis gewonnen werden, an welchen Stellen eine Parallelisierung überhaupt möglich ist, ohne das Ergebnis des Talend Jobs zu verfälschen oder die erfolgreiche Ausführung gar zu gefährden. Im Weiteren werden die verschiedenen Möglichkeiten [...]

Von |21. Februar 2020|Kategorien: Aktuelles, Talend|Tags: , |

Nutzung von Jasper Scriptlets in Kombination mit der Talend MetaServlet API

In diesem Blogbeitrag geht es zum einen um die Erstellung von Jasper Scriptlets. Innerhalb eines solchen Scriptlets wird anschließend beschrieben, wie die Talend MetaServlet API, welche vom TAC bereitgestellt wird, genutzt werden kann. Diese ermöglicht es, Talend Jobs welche auf dem TAC deployed sind, von außerhalb aufzurufen. Damit können Jobs zum Beispiel vor dem Aufrufen eines Berichtes ausgeführt werden. Mit Jasper Scriptlets und der MetaServlet API von Talend lässt sich dies geschickt lösen. Erstellung und Nutzung eines JasperSoft Scriptlets Zunächst wird ein einfaches Scriptlet-Beispiel gezeigt, mit welchem ein String im Summary-Band des Berichts angedruckt werden kann. Für die Erstellung des [...]

Lass es die Fachabteilung machen (2): Talend Data Stewardship (Webinar)

Deduplizierung, Aufbereitung, Anpassung und Entscheidungsfindung sind nur ein paar Schlagworte aus dem vielfältigem Aufgabengebiet eines Data Stewards. Talend Data Stewardship fasst diese und weitere Anwendungsfälle in einer intuitiv bedienbaren Web-UI zusammen. Das Inbox-Task-System stellt die Aufgaben übersichtlich dar und der optionale Approval Workflow sichert Entscheidungen ab. Dazu gliedert Talend Data Stewardship Aufgaben in vier Kampagnentypen (Arbitration, Resolution, Merging und Grouping) ein die jeweils über eine angepasste UI mit entsprechendem Funktionsumfang verfügen und so den Datenverantwortlichen unterstützen. Merging ist beispielsweise der Kampangnentyp zur Deduplizierung von Datensätzen, wohingegen Arbitration-Kampagnen zur Entscheidungsfindung genutzt werden. In diesem Webinar stellt Ihnen Dr. Johannes Held Talend [...]

Lass es die Fachabteilung machen (1): Talend Data Preparation (Webinar)

In vielen Fachabteilungen werden Datenvorverarbeitung (Datensäuberung, Masking, Data Lookup, etc. ) und Datenverarbeitung (Auswertungen, Berichte, Charts, etc.) meist in einem Excel-Dokument durchgeführt, gehen teils ineinander über und sind damit fest miteinander verbunden. Somit kann die Fachabteilung zwar ohne spezielle Unterstützung aus der IT Abteilung Ergebnisse liefern aber der Weg dahin ist in einem „Excel-Silo” vergraben. Mit der WebApp Talend Data Preparation können Sie alle notwendigen Schritte zur Datenvorverarbeitung aus Excel herauslösen und gleichzeitig die Fachabteilung befähigen die Datenvorbereitungsschritte schneller und einfacher durchzuführen. Talend Data Preparation unterstützt den Anwender dabei auch mit semantischen Typen. Die Aktionen auf den Daten werden in [...]

Vorbereitungen auf die TDWI – PRODATO an zwei Messeständen inklusive spannendem Vortrag im Rahmen des Special Day Talend

Die TDWI 2019 steht vor der Tür. Vom 24. Juni bis zum 26. Juni 2019 treffen sich BI-Experten zur Wissenskonferenz in München. Mit dabei sind auch unsere PRODATO-Consultants, die unsere Unternehmensgruppe an den Messeständen von TIBCO und Talend präsentieren. Als Sponsor der TDWI veranstaltet unser Technologiepartner Talend am 25. Juni 2019 den Special Day Talend, an dem Partnerunternehmen des Softwareherstellers Vorträge zu BI-Themen halten. PRODATO beteiligt sich mit einem Vortrag über Data Governance am Vortragsprogramm. Dr. Michael Daum, Geschäftsführer der PRODATO Integration Technology GmbH, und Dr. Matthias Faerber, Geschäftsführer der PRODATO Retail Solutions GmbH,  zeigen auf, wie mit Hilfe [...]