Maskieren sensibler Verbindungsinformationen in den Taskausführungslogs in Talend Management Console - Cloud

Nutzungshandbuch für Talend Remote Engine für Windows

Version
Cloud
Language
Deutsch
Operating system
Windows
Product
Talend Cloud
Module
Talend Remote Engine
Content
Design und Entwicklung
Installation und Upgrade
Last publication date
2024-02-27

Ab Remote Engine v2.12.3 werden Verbindungsinformationen bei der Anzeige in den Logs in Talend Management Console automatisch maskiert. Bei diesen Informationen kann es um beliebige der von Ihnen in Talend Management Console gesperrten Verbindungsparametern handeln, wie z. B. Host, Portnummer oder Benutzername.

Warum und wann dieser Vorgang ausgeführt wird

Wenn Ihre Engine eine Version zwischen v2.10.8 und v2.12.2 aufweist, werden diese Informationen automatisch maskiert. Sie müssen die folgenden Vorgänge ausführen, um Talend Remote Engine für die Maskierung in diesen Logs zu konfigurieren. Andernfalls können Sie diesen Abschnitt ignorieren.

Prozedur

  1. Vergewissern Sie sich in Talend Management Console, dass die in Logs zu maskierenden Verbindungsinformationen gesperrt wurden.
    Weitere Informationen zu Verbindungen in Talend Management Console und zum Sperren von Verbindungsparametern finden Sie unter „Erstellen benutzerspezifischer Verbindungen“.
  2. Navigieren Sie auf dem Gerät, auf dem Ihre Remote Engine installiert ist, zum Ordner <RemoteEngineInstallationDirectory>/etc und öffnen Sie die Datei org.talend.ipaas.rt.jobserver.client.cfg.
  3. Definieren Sie die Eigenschaft job.log.msg.sensitive.hidden:
    job.log.msg.sensitive.hidden=true
  4. Speichern Sie die Datei.

Ergebnisse

Diese Änderung wird direkt berücksichtigt, d. h. die Engine braucht nicht neugestartet zu werden. Die gesperrten Verbindungsparameter werden in den Taskausführungslogs in Talend Management Console maskiert. Beispiel:
Screenshot der maskierten sensiblen Verbindungsinformationen
Troubleshooting:

Die Maskierung sensibler Verbindungsinformationen kann zu einer erhöhten CPU- und Speichernutzung führen, wenn zahlreiche Informationen maskiert werden, während gleichzeitig eine große Anzahl Logs im Speicher aufbewahrt wird.

Um diese Nutzungssteigerung zu begrenzen, stellen Sie die folgenden Parameter bedarfsgerecht ein:

  1. Navigieren Sie zum Ordner <RemoteEngineInstallationDirectory>/etc und öffnen Sie die Datei org.talend.ipaas.rt.jobserver.client.cfg.
  2. Passen Sie die Werte wie folgt an:
    Die folgende Tabelle enthält die Parameter, die eine Anpassung der Größe der Logzeilen und der Anzahl der gespeicherten Logereignisse ermöglichen:
    Parameter Beschreibung
    job.log.msg.size.max Der Standardwert beträgt 10000 Zeichen und verweist auf die maximal zulässige Größe für jede Logzeile.

    Wenn Sie diesen Wert reduzieren, um die Größe jeder zu verarbeitenden Logzeile zu begrenzen, wird jede Logzeile trunkiert und dadurch der Ressourcenverbrauch gesenkt.

    Sollte das Trunkieren der Logs ein Problem für Sie darstellen, dann können Sie auch zusätzliche Ressourcen zur Engine hinzufügen.

    job.log.msg.buffer.size.max Dieser Parameter legt die maximale Anzahl an Logereignissen fest, die zeitweise im Arbeitsspeicher abgelegt werden können. Der Standardwert beträgt 10000.

    Wenn zahlreiche Logereignisse gleichzeitig auftreten, kann es vorkommen, dass diese maximale Anzahl erreicht wird. Das hat den Verlust von Logdaten zur Folge. Um einen derartigen Verlust zu vermeiden, erhöhen Sie die Puffergröße und weisen Sie Ihrer Engine entsprechend zusätzliche Speicherressourcen zu.

    Anmerkung: Um die Last für Arbeitsspeicher und CPU zu begrenzen, können Sie ebenfalls den Parameter thread.timeout hinzufügen, um einen Zeitraum für die Logverarbeitung festzulegen, nach dessen Ablauf ein Timeout ausgelöst wird. Der Standardwert beträgt 5 Minuten. Danach wird die Logverarbeitung angehalten und die Kontextinformationen werden gelöscht. Wenn Sie diesen Wert reduzieren, werden häufiger Ressourcen freigegeben. Beachten Sie hierbei jedoch, dass alle nicht verarbeiteten Logs jeweils verloren gehen. Sollte das ein Problem darstellen, können Sie Ihrer Engine auch mehr Ressourcen zuweisen.
    Bei Auftreten des timeout-Ereignisses wird dieses als WARN-Ereignis (Warnung) im Log aufgezeichnet. Ein Logeintrag zu diesem Ereignis könnte folgendermaßen aussehen:
    Force cleanup context for empty streamSet, executionId {}
  3. Für jedes Zeichen sind 2 Speicherbytes erforderlich. Um die für die Logverarbeitung benötigten zusätzlichen Ressourcen zu berechnen, können Sie beispielsweise folgende Berechnung anstellen:
    • Bei 2000 Zeichen auf jeder Logzeile und 2000 Logereignissen sind 80 MB Arbeitsspeicher erforderlich.
    • Bei 20000 Zeichen auf jeder Logzeile und 5000 Logereignissen sind 200 MB Arbeitsspeicher erforderlich.
    • Bei 20000 Zeichen auf jeder Logzeile und 20000 Logereignissen sind 800 MB Arbeitsspeicher erforderlich.

    Wenn Ihre Engine als Systemdienst implementiert wurde und Sie diese Zuweisung auf dem Hostgerät erhöhen, müssen Sie anschließend die JVM-Konfiguration in der Datei <RemoteEngineInstallationDirectory>/etc/talend-remote-engine-wrapper.conf entsprechend anpassen.