Configurer le lignage de données avec Cloudera Navigator - 6.3

Talend Real-time Big Data Platform Studio Guide utilisateur

EnrichVersion
6.3
EnrichProdName
Talend Real-Time Big Data Platform
task
Création et développement
Qualité et préparation de données
EnrichPlatform
Studio Talend

Le support de Cloudera Navigator est ajouté aux Jobs MapReduce et Spark.

Si vous utilisez une version Cloudera 5.5 ou supérieure pour exécuter vos Jobs, vous pouvez utiliser Cloudera Navigator pour suivre le lignage d'un flux de données afin de découvrir comment ce flux de données a été généré par un Job MapReduce ou Spark, y compris les composants utilisés dans ce Job et les modifications des schémas entre les composants.

Par exemple, vous avez créé le Job MapReduce suivant et souhaitez générer des informations de lignage à leur sujet :

Procédez comme suit :

  1. Cliquez sur Run pour ouvrir la vue et cliquez sur l'onglet Hadoop configuration (pour un Job Spark, l'onglet à utiliser est Spark configuration).

  2. Dans la liste Distribution, sélectionnez Cloudera et, dans la liste Version, sélectionnez Cloudera 5.5.

    La case Use Cloudera Navigator s'affiche.

    Lorsque cette option est activée, vous devez configurer les paramètres suivants :

    • Username et Password : informations d'authentification utilisées pour vous connecter à votre Cloudera Navigator.

    • Cloudera Navigator URL : saisissez l'emplacement du Cloudera Navigator auquel se connecter.

    • Cloudera Navigator Metadata URL : saisissez l'emplacement où sont stockées les métadonnées (Navigator Metadata).

    • Activate the autocommit option : cochez cette case pour que le Cloudera Navigator génère le lignage du Job courant à la fin de son exécution.

      Comme cette option force le Cloudera Navigator à générer des lignages de toutes ses entités disponibles, tels que les fichiers et répertoires HDFS, les requêtes Hive ou les scripts Pig, il n'est pas recommandé de l'utiliser dans un environnement de production, car elle ralentit le Job.

    • Kill the job if Cloudera Navigator fails : cochez cette case pour arrêter l'exécution du Job lorsque la connexion à Cloudera Navigator échoue.

      Sinon, laissez cette case décochée pour que votre Job continue à s'exécuter.

    • Disable SSL validation : cochez cette case pour que votre Job se connecte au Cloudera Navigator sans processus de validation SSL.

      Cette fonctionnalité est conçue pour simplifier les tests de vos Jobs mais il n'est pas recommandé de l'utiliser dans un cluster en production.

La connexion à Cloudera Navigator a été configurée. Lorsque vous exécutez ce Job, le lignage est automatiquement généré dans Cloudera Navigator.

Notez que vous devez configurer les autres paramètres dans l'onglet de configuration pour exécuter le Job avec succès. Pour plus d'informations, consultez l'exemple de Job MapReduce ou Spark, selon vos besoins, dans le Guide de prise en main de votre Studio, ou tout autre scénario utilisant votre type de Jobs dans le Guide de référence des Composants Talend.

Une fois l'exécution du Job terminé, effectuez une recherche dans Cloudera Navigator pour chercher les données écrites par ce Job et voir le lignage de ces données dans Cloudera Navigator.

Si vous comparez le graphique de lignage au Job dans le Studio, vous pouvez voir que chaque composant est présenté dans ce graphique. Vous pouvez développer l'icône de chaque composant pour lire le schéma utilisé.