Überwachung der Jobausführungen auf Remote Engines - Cloud

Nutzungshandbuch für Talend Remote Engine für Linux
Version
Cloud
Language
Deutsch
EnrichDitaval
Linux
Product
Talend Cloud
Module
Talend Remote Engine
Content
Design und Entwicklung
Installation und Upgrade

Sie können die Ausführung Ihrer Jobs zur Datenintegration auf Talend Remote Engines überwachen.

Anmerkung: Für diese Funktion sind Talend Remote Engine Version 2.9.2 und Talend Studio ab Version 7.3 R2020-07 erforderlich.

Wenn Ihre Jobs für eine Ausführung in Talend Remote Engine Version 2.9.2 geplant sind, kann Talend Cloud Management Console die Daten bereitstellen, die Sie zur Generierung eigener, bedarfsgerecht gestalteter Dashboards in Ihrem unternehmensinternen Überwachungssystem bzw. in einem APM-Tool zur Überwachung der Anwendungsleistung (Application Performance Monitoring) benötigen, z. B. ELK, Datadog, Azure Monitor oder Amazon CloudWatch.

Sobald Sie das System zur Metrik- und Logdaten-Sammlung in Talend Remote Engine und Ihr APM eingerichtet haben, können Sie Ihre Dashboards dank der von Talend Cloud Management Console an das APM-Tool gesendeten Informationen über die Engine entwickeln und organisieren.

So können Sie in den Dashbords anhand dieser Daten beispielsweise Folgendes überwachen:
  • Status der Jobausführungen
  • Verfügbarkeit von Talend Remote Engine
  • Verbrauch der Ressourcen (Nutzung von CPU, Arbeitsspeicher und Festplatte)
  • Arbeitslast (Anzahl der ausgeführten Tasks)
Dank der Überwachungsfunktionen können Sie darüber hinaus die Ausgabe von Alarmen beim Auftreten von Fehlern konfigurieren und durch den Vergleich der Dauer und der verarbeiteten Datensätze die Leistung der Jobausführungen optimieren.

Verfügbare Metriken

Die folgenden Metriken und zusätzlichen Logs werden von Talend Remote Engine bereitgestellt und können in Ihr APM-Tool integriert werden.

Bereits bestehende Logs von vorhergehenden Remote Engine-Versionen:
  • Jobausführungslogs
  • Remote Engine-Logs
Neue Logs von Talend Remote Engine ab Version v2.9.2:
  • Logs zur Jobverwaltung
  • Leistungsmetriken und Kontext von Jobs, Remote Engines und Betriebssystem
    • Nutzung der Betriebssystemressourcen
    • Nutzung der Remote Engine-Ressourcen und Arbeitslast
    • Nutzung Ressourcen für Jobausführungen (CPU, Arbeitsspeicher)
    • Verlauf der Jobausführungen (einschließlich Komponenteninformationen, Status und Dauer)
    • Leistung der Jobausführungen (z. B. verarbeitete oder zurückgewiesene Datensätze)
Die Metriken sind in zwei verschiedenen Formaten verfügbar und über einen von der Remote Engine bereitgestellten HTTP-Endpunkt zugänglich:
  • Generische JSON-Datei
  • Prometheus-kompatibles Format

Verwenden der Funktion

Um die Überwachungsfunktion verwenden zu können, müssen Sie Folgendes durchführen:
  1. Die neue Remote Engine-Version herunterladen und installieren
  2. Die Remote Engine in Ihrer Entwicklungsumgebung in Talend Cloud Management Console einrichten.
  3. Talend Studio mit einer Version ab 7.3 R2020-07 installieren bzw. auf eine dieser Versionen aktualisieren
  4. Ihre Jobs von der neuen Studio-Version in Talend Cloud Management Console neu veröffentlichen
  5. Ihre Tasks für die Verwendung der neuesten Jobversionen aktualisieren (sofern dies nicht automatisch erfolgt)
  6. Ihre Jobs ausführen

Die Einrichtung einer Verbindung zwischen dem APM-Tool und der Talend-Anwendungen ist davon abhängig, welches APM-Tool Sie verwenden. Auf der Website der Talend-Community sind ein paar Beispiele verfügbar.