Accéder au contenu principal Passer au contenu complémentaire

Utiliser les notifications et les logs pour déboguer un pipeline

Utiliser les notifications et les logs afin de remarquer et corriger des erreurs dans un pipeline dont l'exécution a échoué.

Avant de commencer

  • Vous avez déjà créé un pipeline complet.

  • Vous avez exécuté votre pipeline et son exécution a échoué.

Procédure

  1. Ouvrez le pipeline dont l'exécution a échoué.
    Un pipeline affiche un jeu de données d'une table customer comme source du pipeline, un processeur Python 3 et un jeu de donnés HDFS comme destination du pipeline.

    Ici, ce pipeline contient une table d'une base de données concernant des client·es, un processeur Python 3 qui concatène des noms, convertit des devises et traite des dates, ainsi qu'un topic HDFS permettant de stocker les données traitées.

  2. Pour afficher le message d'erreur vous informant du statut d'exécution, cliquez sur l'icône Notification dans la barre d'outils en haut.
    Le centre de notifications indique que le pipeline a démarré et qu'il s'est terminé avec une erreur.

    Dans cette fenêtre, vous pouvez développer le message d'erreur en cliquant sur ce dernier.

  3. Pour obtenir des informations plus détaillées et catégorisées au sujet de cette erreur, cliquez sur le lien View Logs (Voir les logs) dans la fenêtre Notification, ou allez dans l'onglet Metrics (Métriques) du panneau Pipeline Details (Détails du pipeline) et cliquez sur le bouton View Logs (Voir les logs).

    Par défaut, tous les logs sont affichés.

  4. Pour trier les logs et lire uniquement les messages d'erreur, cochez la case Error.
    Dans le panneau des logs, la case relative aux erreurs est cochée. Un message d'erreur relatif à un opérateur incorrect à la ligne 7 est sélectionné.

    Vous pouvez voir que l'erreur est liée à un opérateur incorrect utilisé dans le processeur Python 3 à la ligne 7.

  5. Maintenant que l'erreur est repérée, sélectionnez le processeur Python 3 afin de modifier sa configuration.
    L'éditeur de code Python 3 est ouvert et la ligne 7 est sélectionnée.

    À la ligne 7, l'année 2017 est entourée d'opérateurs inutiles causant l'échec du pipeline. Modifiez la ligne comme suit :output['number_year_registrated'] = 2017 - int(year) et sauvegardez vos modifications.

  6. Cliquez sur l'icône d'exécution dans la barre d'outils en haut pour exécuter à nouveau votre pipeline.

Résultats

Le pipeline est réparé et exécuté avec succès. Si vous avez raté une notification vous informant du succès de l'exécution, cliquez sur l'icône Notification dans la barre d'outils en haut, afin de l'afficher.
Le centre de notifications indique que le pipeline a démarré et qu'il s'est terminé avec succès.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – dites-nous comment nous améliorer !

Laissez vos commentaires ici