Automatisieren der Artefakt-Bereinigung zur Verbesserung der Leistung Ihrer Remote Engine - Cloud

Nutzungshandbuch für Talend Remote Engine für Windows

Version
Cloud
Language
Deutsch
Operating system
Windows
Product
Talend Cloud
Module
Talend Remote Engine
Content
Design und Entwicklung
Installation und Upgrade
Last publication date
2024-02-27

Aktivieren Sie Ihre Remote Engine, um regelmäßig und automatisch überflüssige Artefakte zu löschen und dadurch Speicherplatz freizusetzen.

Diese Bereinigung wirkt sich nicht auf laufende Taskausführungen aus, da Tasks nur bei der Implementierung Artefakte aus dem lokalen Remote Engine-Repository verwenden. Taskbezogene Artefakte werden in dieses lokale Repository heruntergeladen, wenn eine Task zum ersten Mal ausgeführt wird. Im Anschluss daran werden die heruntergeladenen Artefakte für die nachfolgenden Ausführungen derselben Task erneut verwendet.

Die höchste Sicherheitsebene Ihres Antivirensystems kann den automatischen Bereinigungsprozess behindern, wenn beispielsweise das Löschen temporärer Dateien verhindert wird. Eine Möglichkeit, dieses Problem zu beheben, könnte das Herabsetzen der Sicherheitsebene der Antivirussoftware sein.

Anmerkung: Stellen Sie sicher, dass jede Remote Engine-Instanz über einen eigenen TalendJobServersFiles-Ordner verfügt, wie unter Implementieren mehrerer Remote Engines beschrieben.

Prozedur

  1. Öffnen Sie die Datei <RemoteEngineInstallationDirectory>/etc/org.talend.ipaas.rt.deployment.agent.cfg, um sie zu bearbeiten.
  2. Stellen Sie folgende Parameter ein:
    • local.maven.clean.interval.days: Die automatische Bereinigung wird durch Eingabe eines Werts über 0 aktiviert.
      Beispiel:
      local.maven.clean.interval.days=2
      In diesem Fall erfolgt die Bereinigung alle zwei Tage.
      Anmerkung: Vergewissern Sie sich, dass an den Parameterwert keine Leerzeichen angehängt wurden, da dies ein Scheitern der Engine-Kopplung zur Folge hat.
    • local.maven.clean.max.gb.size: Die für Artefakte, die in <RemoteEngineInstallationDirectory>/data/m2/actions in der Remote Engine gespeichert werden sollen, geltende maximale Größe (GB).
      Beispiel:
      local.maven.clean.max.gb.size=8
      Wenn alle gespeicherten Artefakte beim Start eines geplanten Bereinigungsdienstes insgesamt 8 GB überschreiten, löscht der Dienst die ältesten Artefakte, deren letzte Ausführungszeiten außerhalb des Aufbewahrungszeitraums liegen, bis die Gesamtgröße maximal 8 GB entspricht.
    • local.maven.clean.older.than.days: Der Aufbewahrungszeitraum für einen Artefakt, z. B.:
      local.maven.clean.older.than.days=3

      Bei einer laufenden Task, deren Ausführungsdauer auf 4 Tage geschätzt wird, hat der 3-tägige Aufbewahrungszeitraum in diesem Beispiel keine Auswirkung auf die Task.

    Artefakte werden nur gelöscht, wenn beide der folgenden Bedingungen erfüllt sind:
    • Die Gesamtgröße der gespeicherten Artefakte überschreitet den vorgegebenen Grenzwert.
    • Die letzten Ausführungszeiten der alten Artefakte liegen außerhalb des vorgegebenen Aufbewahrungszeitraums.

      Ein Artefakt wird nur dann in das lokale Remote Engine-Repository heruntergeladen, wenn eine damit verbundene Task zum ersten Mal ausgeführt wird. Danach wird dieses Artefakt in den nachfolgenden Ausführungen derselben Task erneut verwendet, wobei seine letzte Ausführungszeit jeweils aktualisiert wird.

  3. Speichern Sie die Datei.

Ergebnisse

Jedes Mal, wenn eine geplante Bereinigung durchgeführt wird, wird eine Logmeldung zurückgegeben. Diese Meldung beginnt mit folgendem Wortlaut:
Remote Engine m2 artifacts cleanup performed:
Wenn die Meldung Sie darauf hinweist, dass kein Artefakt gelöscht wurde, müssen Sie unter Umständen die Erhöhung der Größenbegrenzung oder die Reduzierung des Aufbewahrungszeitraums in Betracht ziehen.
Anmerkung: Bei der automatischen Bereinigung werden keine Dateien im Ordner <RemoteEngineInstallationDirectory>/TalendJobServersFiles/archiveJobs/ folder and the \data\tmp\ gelöscht:
  • Zusätzliche Abhängigkeitsdateien, wie z. B. unterschiedliche log4j-Versionen, werden in <RemoteEngineInstallationDirectory>/TalendJobServersFiles/archiveJobs/ gespeichert.
  • Temporäre Dateien mit Bezug zu Karaf werden in \data\tmp\ gespeichert und automatisch gelöscht, wenn die Ausführung von Karaf gemeinsam mit der Ausführung der Remote Engine angehalten wird.