Utiliser les notifications et les logs afin de remarquer et corriger des erreurs dans un pipeline dont l'exécution a échoué.
Avant de commencer
-
Vous avez déjà créé un pipeline complet.
-
Vous avez exécuté votre pipeline et son exécution a échoué.
Procédure
-
Ouvrez le pipeline dont l'exécution a échoué.
Ici, ce pipeline contient une table d'une base de données concernant des client·es, un processeur Python 3 qui concatène des noms, convertit des devises et traite des dates, ainsi qu'un topic HDFS permettant de stocker les données traitées.
-
Pour afficher le message d'erreur vous informant du statut d'exécution, cliquez sur l'icône
dans la barre d'outils en haut.
Dans cette fenêtre, vous pouvez développer le message d'erreur en cliquant sur ce dernier.
-
Pour trier les logs et lire uniquement les messages d'erreur, cochez la case Error.
Vous pouvez voir que l'erreur est liée à un opérateur incorrect utilisé dans le processeur Python 3 à la ligne 7.
-
Maintenant que l'erreur est repérée, sélectionnez le processeur Python 3 afin de modifier sa configuration.
À la ligne 7, l'année 2017 est entourée d'opérateurs inutiles causant l'échec du pipeline. Modifiez la ligne comme suit :
output['number_year_registrated'] = 2017 - int(year)et sauvegardez vos modifications.
Résultats
Le pipeline est réparé et exécuté avec succès. Si vous avez raté une notification vous informant du succès de l'exécution, cliquez sur l'icône dans la barre d'outils en haut, afin de l'afficher. 
dans la barre d'outils en haut, afin de l'afficher.