Activer le lignage d'exécution pour les Jobs - Cloud - 8.0

Guide d'utilisation de Talend Data Fabric Studio

Version
Cloud
8.0
Language
Français (France)
EnrichDitaval
Data Fabric
Product
Talend Data Fabric
Module
Studio Talend
Content
Création et développement

Le Studio Talend vous permet d'activer le lignage d'exécution pour les Jobs standards, qui pourra être utilisé dans une version future par la capacité d'analyse de Talend Data Catalog pour les métadonnées d'exécution, par exemple, une requête avec des variables, un schéma avec des colonnes dynamiques, etc.

Lorsque vous exécutez un Job standard pour lequel le lignage d'exécution est actif, les informations dont a besoin Talend Data Catalog, par exemple, le nom du Job, le nom du composant, le schéma ou la requête, seront écrites dans un fichier JSON.

Remarque : Pour pouvoir pleinement utiliser cette fonctionnalité, vous devrez installer Talend Data Catalog.

Pour plus d'informations concernant Talend Data Catalog, consultez Guide d'utilisation de Talend Data Catalog.

Pourquoi et quand exécuter cette tâche

Pour activer le lignage d'exécution pour les Jobs standards :

Procédure

  1. Allez dans le répertoire d'installation de votre Studio Talend.
  2. Ajoutez l'attribut -Druntime.lineage=true dans le fichier .ini correspondant à votre système d'exploitation pour activer la fonctionnalité de lignage d'exécution dans le Studio Talend.
  3. Sauvegardez le fichier et démarrez votre Studio Talend.
  4. Cliquez sur dans la barre d'outils de la fenêtre du Studio ou cliquez sur File > Edit Project properties dans la barre du menu pour ouvrir la boîte de dialogue Project Settings.
  5. Dans l'arborescence de la boîte de dialogue, développez le nœud Job Settings et cliquez sur Runtime lineage pour afficher la vue correspondante.
  6. Activez le lignage d'exécution pour les Jobs standards d'une des deux manières suivantes :
    • Pour activer le lignage d'exécution pour tous les Jobs standards, cochez la case Use runtime lineage for all Jobs.
    • Pour activer le lignage d'exécution pour certains Jobs standards, cochez les cases correspondant à ces Jobs dans la zone Use runtime lineage for selected Jobs.
  7. Dans le champ Output path, saisissez le chemin de sauvegarde des fichiers JSON utilisés par Talend Data Catalog.
    Ultérieurement, chaque fois que vous exécuterez un Job standard pour lequel le lignage d'exécution est activé, un fichier JSON sera sauvegardé dans un répertoire avec le format suivant : <output_path>/<project>/<jobname>/<version>/runtime_log_<timestamp>.json
    • <output_path> est le chemin spécifié dans le champ Output path,
    • <project> est le nom du projet,
    • <jobname> est le nom du Job,
    • <version> est la version du Job et
    • <timestamp> est l'horodatage de la création du fichier JSON.

    Vous pouvez aussi configurer le chemin de sortie en ajoutant un paramètre JVM -Druntime.lineage.outputpath=<output_path> au Job d'une des deux manières suivantes :

    Remarque : Le chemin de sortie doit être spécifié pour pouvoir sauvegarder les fichiers JSON. Si la valeur du chemin de sortie est définie de manière différente à plusieurs endroits, la valeur sera choisie selon l'ordre de priorité suivant : 1 ) la valeur du paramètre JVM pour un Job spécifique, 2 ) la valeur du champ Output path, 3 ) la valeur du paramètre JVM pour tous les Jobs, 4 ) la valeur du paramètre JVM dans le script shell.
  8. Cliquez sur Apply and Close pour appliquer vos modifications et fermer la boîte de dialogue.