Configurer le lignage de données avec Cloudera Navigator
Le support de Cloudera Navigator a été ajouté aux Jobs Spark de Talend.
Si vous utilisez une version Cloudera 5.5 ou supérieure pour exécuter vos Jobs, vous pouvez utiliser Cloudera Navigator pour visualiser le lignage d'un flux de données afin de découvrir comment ce flux de données a été généré par un Job Spark, y compris les composants utilisés dans ce Job et les modifications des schémas entre les composants.
Si vous utilisez CDP Private Cloud Base ou le Cloud Public CDP pour exécuter vos Jobs, il est recommandé d'utiliser Apache Atlas. Si vous utilisez une distribution CDP dynamique, Apache Atlas est utilisé à la place de Cloudera Navigator. Pour plus d'informations, consultez Configurer le lignage de données avec Atlas.
Par exemple, vous avez créé le Job et souhaitez générer des informations de lignage à son sujet :
![Jobs Spark s'exécutant avec MapReduce.](/fr-FR/studio-user-guide/8.0-R2024-06/Content/Resources/images/mapreduce_lineage.png)
Procédure
Résultats
La connexion à Cloudera Navigator a été configurée. Lorsque vous exécutez ce Job, le lignage est automatiquement généré dans Cloudera Navigator.
Notez que vous devez configurer les autres paramètres dans l'onglet Spark configuration pour exécuter le Job avec succès.
Une fois l'exécution du Job terminé, effectuez une recherche dans Cloudera Navigator pour chercher les données écrites par ce Job et voir le lignage de ces données dans Cloudera Navigator.
Si vous comparez le graphique de lignage au Job dans le Studio Talend, vous pouvez voir que chaque composant est présenté dans ce graphique.
![Graphique de lignage dans Cloudera Navigator.](/fr-FR/studio-user-guide/8.0-R2024-06/Content/Resources/images/cloudera_navigation-lineage_graph.png)
Cloudera Navigator utilise une bibliothèque SDK (uniquement en anglais) Cloudera pour fournir des fonctionnalités et doit être compatible avec la version de cette bibliothèque SDK. La version de votre Cloudera Navigator est déterminée par le Cloudera Manager installé avec votre distribution Cloudera. La bibliothèque SDK compatible est automatiquement utilisée, selon la version de votre Cloudera Navigator.
Cependant, toutes les versions de Cloudera Navigator n'ont pas de version SDK compatible. Pour plus d'informations concernant les versions de Cloudera SDK et leurs versions compatibles de Cloudera Navigator, consultez la documentation Cloudera à l'adresse Cloudera Navigator SDK Version Compatibility (uniquement en anglais) (en anglais).
Pour plus d'informations concernant les versions de Cloudera Navigator supportées par le Studio Talend, consultez Versions supportées de Cloudera Navigator pour les Jobs Talend.