Entscheidungsbaum und Anwendungsfälle für „Talend Managed“ / „Customer Managed“

Die zwei Hauptansätze „Talend Managed“ / „Customer Managed“ (Verwaltung durch Talend / Verwaltung durch den Kunden) für die Entscheidung, wie die von Ihnen mit der Plattform generierten Talend-Artefakte implementiert und ausgeführt werden sollen, werden hier beschrieben: Talend Managed / Serverless im Vergleich mit Customer Managed.

Nachstehend finden Sie einen Abschnitt mit Entscheidungsbaum und Anwendungsfällen, auf den Sie unter Berücksichtigung Ihrer spezifischen Anforderungen Bezug nehmen können.

Das folgende Diagramm beschreibt die wesentlichen Entscheidungspunkte für die Auswahl des für Ihren Bedarf am besten geeigneten Ansatzes, d. h. „Talend Managed“ oder „Customer Managed“. Sie können diese Grundprinzipien an zahlreiche andere detaillierte Umgebungsvarianten anpassen.

Batch-ETL- und ereignisgesteuerte Prozesse

Eine Batch-Verarbeitung ist sinnvoll, wenn Sie regelmäßig große Mengen an Daten innerhalb eines begrenzten Zeitfensters aufnehmen müssen, die Konfiguration und Skalierung eines Clusters aus virtuellen Maschinen zur Verarbeitung komplexer Batch-Jobs jedoch eine verwaltungstechnische Herausforderung darstellt. In diesem Fall geht der Trend zunehmend in Richtung Pushdown-Verarbeitung - ELT für Datenbanken oder Ausführung von Jobs in einem Big Data-Cluster.

Bei der Ereignissteuerung werden Daten verarbeitet, sobald ein Ereignis eintritt, z. B. der Eingang einer Datei, die Aktualisierung von Daten usw. Dieser Prozess kommt häufig in bestimmten Szenarien zum Einsatz, wie z. B. auf E-Commerce-Websites, um Kundenaufträge mithilfe von Downstream-Anwendungen zu verarbeiten, oder in Finanzinstituten zur Verarbeitung der Transaktionsdateien der Partner usw. - Hier ein Beispiel: Ein Finanzunternehmen hostet einen Datalake unter AWS S3, um den Partnerunternehmen zu ermöglichen, Transaktionsdateien an diesen Standort hochzuladen. Die Partnerdateien werden über Downstream-ETL-Datenintegrationsprozesse verarbeitet, damit das unternehmenseigene ERP-System entsprechend aktualisiert werden kann. Dieser Prozess kann direkt über ein ereignisgesteuertes Framework oder nach einem zeitplanbasierten Batch-Muster ausgeführt werden - je nach den geschäftsspezifischen und regulatorischen Anforderungen des Finanzunternehmens.

Weitere Informationen können Sie den folgenden Artikeln entnehmen:

• Erstellen von Jobs als Docker-Images:

ETL- und Big Data-Pushdown-Jobs

Für Kunden, die Big Data-Plattformen (wie z. B. AWS EMR) oder cloudbasierte Data Warehouses nutzen (wie z. B. Snowflake), stellt Talend Pushdown-Ausführungsfunktionen mit generierten nativen Spark-Codes oder ELT-Code bereit. Anstatt Daten vor dem Schreiben zu extrahieren/transformieren (wie das mit auf Remote Engines ausgeführten Talend ELT-Jobs der Fall ist), wird die rechenintensive Datenverarbeitung bei diesem Mechanismus von den Zielplattformen übernommen. Die von Talend (ELT- oder Big Data-Jobs) generierten exe-Dateien werden zuerst auf die Zielplattformen kopiert (Data Warehouse oder Big Data-Plattform) und dann dort verarbeitet. Somit können Sie sich sowohl mit dem Ansatz „Talend Managed“ als auch mit dem Ansatz „Customer Managed“ für Pushdown-Prozesse entscheiden. Da die Verarbeitung in einem Pushdown-Szenario jedoch nicht von den Talend-Jobs, -Datendiensten oder -Routen durchgeführt wird, sollte die zusätzliche Komplexität der 'Kundenverwaltung' besser vermieden werden, sofern dieser nicht bereits zu anderen Zwecken genutzt wird.

REST/SOAP-Datendienste und Mediationsrouten

Für eine Echtzeit-Anwendungsintegration unterstützt Talend die Entwicklung sowohl von Datendienst-Jobs (RESTful und SOAP) als auch von Mediationsrouten. Diese können als native Option auf der „Talend Managed“-Plattform implementiert werden. Darüber hinaus bietet Talend auch die Möglichkeit, RESTful-Datendienst-Jobs oder Mediationsrouten als eigenständige Microservices (Spring Boot) zu generieren, sodass diese auf einer vom Kunden verwalteten Container-/Serverless-Plattform ohne jede Abhängigkeit von Infrastrukturanwendungen wie Talend Runtime implementiert werden können. Talend unterstützt zwar nicht die direkte Veröffentlichung von SOAP-Datendiensten als Microservices, über Mediationsrouten generierte SOAP-Dienste werden aber akzeptiert. Bei SOAP handelt es sich um eine unflexiblere Gruppe von Messaging-Mustern als bei RESTful, und Regeln sind in SOAP von großer Bedeutung, da ohne sie keinerlei Standardisierung erzielt werden kann. SOAP-Datendienste erfordern zudem die Einbeziehung von weiteren Infrastrukturdiensten, z. B. Sicherheit, Autorisierung, Authentifizierung, Service Registry usw., wobei diese Dienste in der Regel über externe API-Gateways gehandhabt werden (dies liegt außerhalb des Rahmens des vorliegenden Dokuments).

Vorteile des Ansatzes „Talend Managed“:

1. Operative Effizienz: Nutzung der Talend-eigenen Managed Services/Features, darunter Überwachung, Zeitplanung, Implementierung usw.
2. Time to Value: Einrichtung der Umgebungs- (das Paar Runtime oder Microservice + Remote Engine) und Entwicklungstools (Studio Talend) in kürzester Zeit.
3. Niedrigere Instandhaltungskosten: Keinerlei Kosten für die Installation oder den Support von Talend Cloud-nativen Diensten (z. B. TMC-Schnittstellen).

Vorteile des Ansatzes „Customer Managed“:

• Native horizontale Skalierbarkeit bei steigenden Anforderungen: Die Container-Orchestrierungs-/Serverless-Plattform führt automatisch ein entsprechendes Scale-Out der Microservices durch, sobald eine höhere Beanspruchung der APIs vorliegt. Online-Shops beispielsweise müssen stets eine stabile und skalierbare Umgebung für ihre Webservice-Anwendungen schaffen - insbesondere zur Gewährleistung einer 100%igen Verfügbarkeit bei Sales Events wie dem Black Friday oder Boxing Day.
• Keine Talend-Serveranwendungen: Für Webservices oder Echtzeit-Mediationsrouten brauchen keine Talend-Serveranwendungen gehostet zu werden.

Für beide Ansätze sind ausreichend Engine-Tokens erforderlich. Ihr Account-Team kann Ihnen bei Lizenzierungsfragen zur Seite stehen.