Activer le lignage d'exécution pour les Jobs - Cloud - 8.0

Guide d'utilisation du Studio Talend

Version
Cloud
8.0
Language
Français
Product
Talend Big Data
Talend Big Data Platform
Talend Cloud
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Studio Talend
Content
Création et développement
Last publication date
2024-03-06
Disponible dans...

Big Data

Big Data Platform

Data Fabric

Data Integration

Data Management Platform

Data Services Platform

ESB

MDM Platform

Real-Time Big Data Platform

Le Studio Talend vous permet d'activer le lignage d'exécution pour les Jobs standards, qui pourra être utilisé dans une version future par la capacité d'analyse de Talend Data Catalog pour les métadonnées d'exécution, par exemple, une requête avec des variables, un schéma avec des colonnes dynamiques, etc.

Lorsque vous exécutez un Job standard pour lequel le lignage d'exécution est actif, les informations dont a besoin Talend Data Catalog, par exemple, le nom du Job, le nom du composant, le schéma ou la requête, seront écrites dans un fichier JSON.

Remarque : Pour pouvoir pleinement utiliser cette fonctionnalité, vous devrez installer Talend Data Catalog.

Pourquoi et quand exécuter cette tâche

Pour activer le lignage d'exécution pour les Jobs standards :

Procédure

  1. Accédez au répertoire d'installation du Studio Talend.
  2. Ajoutez l'attribut -Druntime.lineage=true dans le fichier .ini correspondant à votre système d'exploitation pour activer la fonctionnalité de lignage d'exécution dans le Studio Talend.
  3. Sauvegardez le fichier et démarrez votre Studio Talend.
  4. Cliquez sur Project settings dans la barre d'outil de la fenêtre principale du Studio Talend ou cliquez sur File > Edit Project properties dans le menu, pour ouvrir la boîte de dialogue Project Settings.
  5. Dans l'arborescence de la boîte de dialogue, développez le nœud Job Settings et cliquez sur Runtime lineage pour afficher la vue correspondante.
    Configuration de Runtime Lineage (Lignage lors de l'exécution) dans la boîte de dialogue Project Settings (Paramètres du projet).
  6. Activez le lignage d'exécution pour les Jobs standards d'une des deux manières suivantes :
    • Pour activer le lignage d'exécution pour tous les Jobs standards, cochez la case Use runtime lineage for all Jobs.
    • Pour activer le lignage d'exécution pour certains Jobs standards, cochez les cases correspondant à ces Jobs dans la zone Use runtime lineage for selected Jobs.
  7. Dans le champ Output path, saisissez le chemin de sauvegarde des fichiers JSON utilisés par Talend Data Catalog.
    Ultérieurement, chaque fois que vous exécuterez un Job standard pour lequel le lignage d'exécution est activé, un fichier JSON sera sauvegardé dans un répertoire avec le format suivant : <output_path>/<project>/<jobname>/<version>/runtime_log_<timestamp>.json
    • <output_path> est le chemin spécifié dans le champ Output path,
    • <project> est le nom du projet,
    • <jobname> est le nom du Job,
    • <version> est la version du Job et
    • <timestamp> est l'horodatage de la création du fichier JSON.

    Vous pouvez aussi configurer le chemin de sortie en ajoutant un paramètre JVM -Druntime.lineage.outputpath=<output_path> au Job d'une des deux manières suivantes :

    Remarque : Le chemin de sortie doit être spécifié pour pouvoir sauvegarder les fichiers JSON. Si la valeur du chemin de sortie est définie de manière différente à plusieurs endroits, la valeur sera choisie selon l'ordre de priorité suivant : 1 ) la valeur du paramètre JVM pour un Job spécifique, 2 ) la valeur du champ Output path, 3 ) la valeur du paramètre JVM pour tous les Jobs, 4 ) la valeur du paramètre JVM dans le script shell.
  8. Cliquez sur Apply and Close (Appliquer et fermer) pour appliquer vos modifications et fermer la boîte de dialogue.