Wie können Benachrichtigungen und Logs eingesetzt werden, um Fehler in einer Pipeline, deren Ausführung gescheitert ist, zu identifizieren und zu beheben?
Vorbereitungen
-
Sie haben zuvor eine vollständige Pipeline erstellt.
-
Sie haben die Pipeline ausgeführt, und die Ausführung ist fehlgeschlagen.
Prozedur
-
Öffnen Sie die gescheiterte Pipeline.
In diesem Beispiel enthält die Pipeline eine Datenbanktabelle mit Kundendaten, einen Python 3-Prozessor, der Namen verknüpft, Währungen umrechnet und Daten verarbeitet, sowie ein HDFS-Topic zur Speicherung der verarbeiteten Daten.
-
Um die Fehlermeldung anzuzeigen, die Sie über den Ausführungsstatus informiert, klicken Sie auf das Symbol in der oberen Symbolleiste.
Sie können die Fehlermeldung in diesem Fenster erweitern, indem Sie darauf klicken.
-
Um detailliertere und gegliederte Informationen zum Fehler zu erhalten, können Sie auf den Link View Logs (Logs anzeigen) im Benachrichtigungsfenster klicken oder die Registerkarte Metrics (Metriken) im Fenster Pipeline Details (Pipeline-Details) öffnen und auf die Schaltfläche View Logs (Logs anzeigen) klicken.
Standardmäßig werden alle Logs angezeigt.
-
Um die Logs zu sortieren und ausschließlich Fehlermeldungen anzuzeigen, aktivieren Sie das Kontrollkästchen Error (Fehler).
Sie können jetzt feststellen, dass der Fehler auf einen ungültigen Operator zurückgeht, der im Python 3-Prozessor auf Zeile 3 verwendet wird.
-
Da Sie nun den Fehler identifiziert haben, wählen Sie den Python 3-Prozessor aus, um dessen Konfiguration zu bearbeiten.
In diesem Beispiel ist das Jahr 2017 auf Zeile 7 von unnötigen Operatoren umgeben, die das Scheitern der Pipeline verursachen. Bearbeiten Sie die Zeile wie folgt: output['number_year_registrated'] = 2017 - int(year)
. Speichern Sie dann die Änderungen.
-
Klicken Sie auf das Ausführungssymbol in der oberen Symbolleiste, um die Pipeline erneut auszuführen.
Ergebnisse
Die Pipeline wurde berichtigt und wird jetzt erfolgreich ausgeführt. Wenn Sie die Benachrichtigung zur erfolgreichen Ausführung verpasst haben, klicken Sie auf das Symbol
in der oberen Symbolleiste, um sie anzuzeigen.