Speichern der Ausführungslogs in einem externen Amazon S3-Bucket - Cloud

Nutzungshandbuch für Talend Cloud Management Console
Version
Cloud
Language
Deutsch
Product
Talend Cloud
Module
Talend Management Console
Content
Administration und Überwachung > Verwaltung von Benutzern
Administration und Überwachung > Verwaltung von Projekten
Implementierung > Implementierung > Pipeline-Ausführung
Implementierung > Implementierung > Task-Ausführung
Implementierung > Planung > Task-Planung
awsdeprecated
Logs werden in separaten Ordnern gespeichert, ungeachtet dessen, ob die Tasks live ausgeführt oder über einen Plan aufgerufen werden.

Vorbereitungen

Bevor Sie dieses Verfahren durchführen, müssen Sie ein Amazon S3-Bucket erstellen, kontoübergreifende Rollen konfigurieren (siehe https://docs.aws.amazon.com/IAM/latest/UserGuide/tutorial_cross-account-with-roles.html) und die Konfiguration in Talend Cloud Management Console bereitstellen.

Warum und wann dieser Vorgang ausgeführt wird

Die Übertragung der Logdaten in ein externes Amazon S3-Bucket wird für die Logs von Datendiensten und Routen nicht unterstützt.

Prozedur

  1. Gehen Sie zu Configurations (Konfigurationen) > Management Console.
  2. Aktivieren Sie die Option Export logs (Logs exportieren).
  3. Klicken Sie auf der Seite Management Console export logs (Exportlogs von Management Console) auf den Link Cloud Formation template (CloudFormation-Vorlage), um die AWS CloudFormation-Vorlage von Talend Cloud herunterzuladen.
  4. Öffnen Sie Ihr AWS-Konto in einer neuen Registerkarte und starten Sie den Assistenten Create Stack (Stack erstellen) in AWS CloudFormation Console.
  5. Wählen Sie im Schritt Select Template (Vorlage auswählen) den Befehl Upload a template (Vorlage hochladen) für Amazon S3 sowie die von Talend Cloud bereitgestellte Vorlage aus.
  6. Legen Sie im Bereich Specify Details (Details angeben) die Parameter External ID (Externe ID), S3BucketName (Name des S3-Buckets) und S3 prefix (S3-Präfix) fest.
  7. Aktivieren Sie im Schritt Review (Prüfen) die Option I acknowledge that AWS CloudFormation might create IAM resources (Ich erkenne an, dass AWS CloudFormation ggf. IAM-Ressourcen erstellt.).
  8. Klicken Sie auf Create (Erstellen).
    Daraufhin wird der Stack erstellt. Wenn Sie den Stack auswählen, können Sie der Registerkarte Outputs (Ausgaben) den RoleARN-Schlüsselwert entnehmen.
  9. Kehren Sie zu Talend Cloud Management Console zurück.
  10. Legen Sie die erforderlichen Parameter fest:

    task_stepxmp

    Parameter Funktion
    Role ARN (Rollen-ARN) Name der Amazon-Ressource, der das Ziel-S3-Bucket eindeutig identifiziert.
    External ID (Externe ID) Externe ID des Ziel-S3-Buckets.
    Bucket Name (Bucket-Name) Name des Ziel-S3-Buckets.
    Prefix (Präfix) (Optional) Präfix der zu exportierenden Logdateien. Im Ziel-S3-Bucket werden die Logdateien in einem Ordner angelegt, der nach dem Präfix benannt wird.
  11. Optional: Klicken Sie auf Test export (Testexport).
    Eine Meldung informiert Sie darüber, dass die zeitgestempelte Log-Testdatei in das Bucket exportiert wird. Vergewissern Sie sich, dass die Datei fehlerfrei exportiert wurde, bevor Sie fortfahren.

    Sollte ein Fehler vorliegen, dann prüfen Sie Ihre AWS-Konfiguration bzw. die von Ihnen auf der Seite Management Console export logs (Exportlogs von Management Console) angegebenen Parameter.

  12. Klicken Sie auf Save (Speichern).

Ergebnisse

Bei jeder Ausführung einer Task werden entsprechende Logdateien in das S3-Bucket in den nach dem Präfix benannten Ordner exportiert. Für jede Ausführung werden Dateien genenriert und mit der Ausführungs-ID als Namen versehen.

Für individuelle Taskausführungen werden Logs in [S3Bucket_name]/[prefix]/flows generiert.

Für Tasks, die über einen Plan aufgerufen werden, werden Logs in [S3Bucket_name]/[prefix]/ep erstellt.
Ausführungspläne generieren eine Logdatei, die den Endstatus der Ausführung enthält (erfolgreich oder fehlgeschlagen).