Aktivieren der Jobüberwachung auf Remote Engines - Cloud

Nutzungshandbuch für Talend Remote Engine für Linux
Version
Cloud
Language
Deutsch
Operating system
Linux
Product
Talend Cloud
Module
Talend Remote Engine
Content
Design und Entwicklung
Installation und Upgrade
Last publication date
2024-02-27

Vorbereitungen

  • Talend Studio ab Version 7.3 R2020-07 ist installiert, wird jedoch nicht ausgeführt.
  • Talend Remote Engine ab Version 2.9.2 wurde erstellt, installiert und mit Ihrem Talend Management Console-Konto gekoppelt.
  • Vermeiden Sie die Implementierung von Talend Remote Engine mit Docker in einem Kubernetes-Cluster, da Remote Engine diesen Typ containerisierter Implementierung für die Job-Überwachungsfunktion nicht unterstützt.
  • Stellen Sie sicher, dass für die Ordner data und etc Ihrer Engine jeweils ein dedizierter Ordner verwendet wird. In diesen Ordnern werden die Konfigurationsdateien für eine Remote Engine gespeichert. Durch die Verwendung eines dedizierten Ordners für die Konfigurationsdateien wird verhindert, dass diese in einem schreibgeschützten Modus verriegelt oder von mehreren Prozessen gleichzeitig geändert werden.

Prozedur

  1. Öffnen Sie die Datei <RemoteEngineInstallationDirectory>/etc/org.talend.ipaas.rt.observability.cfg, um sie zu bearbeiten.
  2. Aktivieren Sie die folgenden Parameter, indem Sie deren Wert auf true setzen:

    Beachten Sie, dass omc in diesen Parametern auf „Observability Metrics Collector“ (Kollektor für Beobachtbarkeitsmetriken) verweist.

    • omc.re.enabled=true: Remote Engine metrics are activated
    • omc.oshi.enabled=true: Die gesamten betriebssystemspezifischen Metriken sind aktiviert.
    • omc.apm.enabled=true: Der APM-Appender ist aktiviert.
    • omc.appender.prometheus.enabled=true: Der Metriken-Appender für das Prometheus-Format ist aktiviert.
    Die folgenden drei Parameter sind schreibgeschützt:
    • omc.enabled=true: Die Haupteigenschaft ist aktiviert, um sicherzustellen, dass der gesamte Metrikenmechanismus funktioniert.
    • omc.jobs.enabled=true: Die Eigenschaft zur Sammlung der Jobmetriken ist aktiviert.
    • omc.appender.rest.enabled=true: Der Metriken-Appender für das HTTP-REST-Format ist aktiviert.
  3. Stellen Sie den Parameter omc.push.frequency_ms auf den gewünschten Wert ein.
    Über den Parameter für die Push-Frequenz wird die Frequenz festgelegt, mit der Remote Engine-Komponenten ihre Metriken produzieren. Erhöhen Sie den Wert, wenn Metriken weniger oft an das APM gesendet werden sollen, bzw. verringern Sie ihn, um eine präzisere Überwachung zu erzielen.
  4. Optional: Je nach Ihrer Lizenz können die Metriken standardmäßig auf der Seite Run overview (Ausführungsübersicht) in Talend Management Console angezeigt werden.
  5. Speichern Sie die Datei.
  6. Öffnen Sie die Datei <RemoteEngineInstallationDirectory>/etc/org.talend.observability.omc.cache.apm.cfg, um sie zu bearbeiten.
  7. Stellen Sie den Parameter timeToLiveMinMilliseconds auf den gewünschten Wert ein (in Millisekunden).

    Die Time-to-live-Grenze der Metriken im Kollektor für Beobachtbarkeitsmetriken (Observability Metrics Collector: omc) basiert auf der Push-Frequenz.

    Der Standardwert ist 1000. Durch die Erhöhung dieses Werts wird die Zeit erhöht, für die die Metriken verfügbar sind. Der Wert muss jedoch immer höher sein als die Push-Frequenz.
  8. Stellen Sie timeToLiveMargin nach Bedarf ein, um sicherzustellen, dass keine Lücken entstehen, wenn eine Komponente einen unerwarteten Fehler bzw. eine unerwartete Verzögerung antrifft.
    Der Standard-Parameterwert von 5 Millisekunden kann bearbeitet werden, dies wird aus Sicherheitsgründen jedoch nicht empfohlen.
  9. Speichern Sie die Datei.
  10. Optional: In der Datei <RemoteEngineInstallationDirectory>/etc/org.talend.ipaas.rt.observability.jobContextConfig.cfg können Sie ebenfalls Kontextinformationen zu den Jobs aktivieren, indem Sie die entsprechenden Parameter auf true setzen.

    Example

    karaf/workspaceName=true
karaf/environmentId=false
karaf/environmentName=true
karaf/environmentVersion=true
karaf/clusterId=false
karaf/clusterName=false
karaf/planExecutionId=false
karaf/planId=false
karaf/planName=false
karaf/planStepExecutionId=false
karaf/planStepId=false
karaf/planStepName=false
karaf/triggerTimestamp=false
karaf/artifactName=true
karaf/artifactVersion=true
karaf/taskName=true
karaf/taskVersion=true
karaf/compatibilityVersion=true
karaf/runType=false
karaf/countOfAttempts=false
  11. Speichern Sie die Datei.
  12. Starten Sie die Remote Engine.
    Sie können auch den Remote-Zugriff auf die Engine konfigurieren. Halten Sie sich dazu an die Anweisungen in Aktivieren des Remote-Zugriffs über HTTP (optional).

    Je nach Ihrer Lizenz können die Metriken standardmäßig auf der Seite Run overview (Ausführungsübersicht) in Talend Management Console angezeigt werden.

Nächste Maßnahme

Um die Aktivierung der Überwachungsfunktion zu validieren, geben Sie bundle:list in der Konsole ein. Alle Einträge für den Observability Metrics Collector (Kollektor für Beobachtbarkeitsmetriken) müssen den Status Active (Aktiv) aufweisen.
Screenshot der Anzeige aller Einträge des Kollektors für Beobachtbarkeitsmetriken mit dem Aktiv-Status in der Konsole