Zu Hauptinhalt springen Zu ergänzendem Inhalt springen

Überwachung der Jobausführungen auf Remote Engines

Sie können die Ausführung Ihrer Jobs zur Datenintegration auf Talend Remote Engines überwachen.

InformationshinweisAnmerkung: Für diese Funktion sind Talend Remote Engine Version 2.9.2 und Studio Talend ab Version 7.3 R2020-07 erforderlich.

Wenn Ihre Jobs für eine Ausführung in Talend Remote Engine Version 2.9.2 geplant sind, kann Talend Management Console die Daten bereitstellen, die Sie zur Generierung eigener, bedarfsgerecht gestalteter Dashboards in Ihrem unternehmensinternen Überwachungssystem bzw. in einem APM-Tool zur Überwachung der Anwendungsleistung (Application Performance Monitoring) benötigen, z. B. ELK, Datadog, Azure Monitor oder Amazon CloudWatch.

Sobald Sie das System zur Metrik- und Logdaten-Sammlung in Talend Remote Engine und Ihr APM eingerichtet haben, können Sie Ihre Dashboards dank der von Talend Management Console an das APM-Tool gesendeten Informationen über die Engine entwickeln und organisieren.

So können Sie in den Dashbords anhand dieser Daten beispielsweise Folgendes überwachen:
  • Status der Jobausführungen
  • Verfügbarkeit von Talend Remote Engine
  • Verbrauch der Ressourcen (Nutzung von CPU, Arbeitsspeicher und Festplatte)
  • Arbeitslast (Anzahl der ausgeführten Tasks)
Dank der Überwachungsfunktionen können Sie darüber hinaus die Ausgabe von Alarmen beim Auftreten von Fehlern konfigurieren und durch den Vergleich der Dauer und der verarbeiteten Datensätze die Leistung der Jobausführungen optimieren.

Verfügbare Metriken

Die folgenden Metriken und zusätzlichen Logs werden von Talend Remote Engine bereitgestellt und können in Ihr APM-Tool integriert werden.

Bereits bestehende Logs von vorhergehenden Remote Engine-Versionen:
  • Jobausführungslogs
  • Remote Engine-Logs
Neue Logs von Talend Remote Engine ab Version v2.9.2:
  • Logs zur Jobverwaltung
  • Leistungsmetriken und Kontext von Jobs, Remote Engines und Betriebssystem
    • Nutzung der Betriebssystemressourcen
    • Nutzung der Remote Engine-Ressourcen und Arbeitslast
    • Nutzung Ressourcen für Jobausführungen (CPU, Arbeitsspeicher)
    • Verlauf der Jobausführungen (einschließlich Komponenteninformationen, Status und Dauer)
    • Leistung der Jobausführungen (z. B. verarbeitete oder zurückgewiesene Datensätze)
Die Metriken sind in zwei verschiedenen Formaten verfügbar und über einen von der Remote Engine bereitgestellten HTTP-Endpunkt zugänglich:
  • Generische JSON-Datei
  • Prometheus-kompatibles Format

Verwenden der Funktion

Um die Überwachungsfunktion verwenden zu können, müssen Sie Folgendes durchführen:
  1. Die neue Remote Engine-Version herunterladen und installieren
  2. Die Remote Engine in Ihrer Entwicklungsumgebung in Talend Management Console einrichten
  3. Studio Talend mit einer Version ab 7.3 R2020-07 installieren bzw. auf eine dieser Versionen aktualisieren
  4. Ihre Jobs der neuen Studio Talend-Version in Talend Management Console neu veröffentlichen
  5. Ihre Tasks für die Verwendung der neuesten Jobversionen aktualisieren (sofern dies nicht automatisch erfolgt)
  6. Ihre Jobs ausführen

Die Einrichtung einer Verbindung zwischen dem APM-Tool und der Talend-Anwendungen ist davon abhängig, welches APM-Tool Sie verwenden. Auf der Website der Talend-Community finden Sie Beispiele: Konfigurieren von Beobachtbarkeitsmetriken mit Talend Cloud - Remote Engine .

Hat diese Seite Ihnen geholfen?

Wenn Sie Probleme mit dieser Seite oder ihren Inhalten feststellen – einen Tippfehler, einen fehlenden Schritt oder einen technischen Fehler –, teilen Sie uns bitte mit, wie wir uns verbessern können!