Verwenden von Benachrichtigungen und Logs zum Debuggen einer Pipeline - Cloud

Nutzungshandbuch für Talend Cloud Pipeline Designer

Version
Cloud
Language
Deutsch
Product
Talend Cloud
Module
Talend Pipeline Designer
Content
Administration und Überwachung > Überwachung von Ausführungen
Administration und Überwachung > Überwachung von Logs
Data Governance > Datenfilterung
Datenqualität und Datenaufbereitung > Datenfilterung
Datenqualität und Datenaufbereitung > Verwaltung von Datensätzen
Design und Entwicklung > Konzeption von Pipelines
Implementierung > Implementierung > Pipeline-Ausführung
Last publication date
2024-02-12
Wie können Benachrichtigungen und Logs eingesetzt werden, um Fehler in einer Pipeline, deren Ausführung gescheitert ist, zu identifizieren und zu beheben?

Vorbereitungen

  • Sie haben zuvor eine vollständige Pipeline erstellt.

  • Sie haben die Pipeline ausgeführt, und die Ausführung ist fehlgeschlagen.

Prozedur

  1. Öffnen Sie die gescheiterte Pipeline.
    Pipeline mit einem Kundentabellen-Datensatz als Pipeline-Quelle, einem Python 3-Prozessor und einem HDFS-Datensatz als Pipeline-Ziel.

    In diesem Beispiel enthält die Pipeline eine Datenbanktabelle mit Kundendaten, einen Python 3-Prozessor, der Namen verknüpft, Währungen umrechnet und Daten verarbeitet, sowie ein HDFS-Topic zur Speicherung der verarbeiteten Daten.

  2. Um die Fehlermeldung anzuzeigen, die Sie über den Ausführungsstatus informiert, klicken Sie auf das Symbol Notification (Benachrichtigung) in der oberen Symbolleiste.
    Benachrichtigungscenter mit der Angabe, dass die Pipeline gestartet und dann mit einem Fehler beendet wurde.

    Sie können die Fehlermeldung in diesem Fenster erweitern, indem Sie darauf klicken.

  3. Um detailliertere und gegliederte Informationen zum Fehler zu erhalten, können Sie auf den Link View Logs (Logs anzeigen) im Benachrichtigungsfenster klicken oder die Registerkarte Metrics (Metriken) im Fenster Pipeline Details (Pipeline-Details) öffnen und auf die Schaltfläche View Logs (Logs anzeigen) klicken.

    Standardmäßig werden alle Logs angezeigt.

  4. Um die Logs zu sortieren und ausschließlich Fehlermeldungen anzuzeigen, aktivieren Sie das Kontrollkästchen Error (Fehler).
    Logs-Fenster mit aktiviertem Fehler-Kontrollkästchen und hervorgehobener Fehlermeldung in Bezug auf einen ungültigen Operator auf Zeile 7

    Sie können jetzt feststellen, dass der Fehler auf einen ungültigen Operator zurückgeht, der im Python 3-Prozessor auf Zeile 3 verwendet wird.

  5. Da Sie nun den Fehler identifiziert haben, wählen Sie den Python 3-Prozessor aus, um dessen Konfiguration zu bearbeiten.
    Geöffneter Python 3-Code-Editor und hervorgehobene Zeile 7

    In diesem Beispiel ist das Jahr 2017 auf Zeile 7 von unnötigen Operatoren umgeben, die das Scheitern der Pipeline verursachen. Bearbeiten Sie die Zeile wie folgt: output['number_year_registrated'] = 2017 - int(year). Speichern Sie dann die Änderungen.

  6. Klicken Sie auf das Ausführungssymbol in der oberen Symbolleiste, um die Pipeline erneut auszuführen.

Ergebnisse

Die Pipeline wurde berichtigt und wird jetzt erfolgreich ausgeführt. Wenn Sie die Benachrichtigung zur erfolgreichen Ausführung verpasst haben, klicken Sie auf das Symbol Notification (Benachrichtigung) in der oberen Symbolleiste, um sie anzuzeigen.
Benachrichtigungscenter mit der Angabe, dass die Pipeline gestartet und dann erfolgreich beendet wurde.