Créer et utiliser des métadonnées dans le Studio Talend - 7.3

Version
7.3
Language
Français (France)
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Real-Time Big Data Platform
Module
Studio Talend
Content
Création et développement > Création de Jobs

Créer et utiliser des métadonnées dans le Studio Talend

Avec ce tutoriel, découvrez comment la création et l'utilisation de métadonnées dans le Studio Talend peut vous permettre de gagner beaucoup de temps en phase de développement.

Ce tutoriel utilise un fichier .csv. Si vous n'avez pas de fichier .csv, cliquez sur l'onglet Téléchargements et enregistrez le fichier customers_unordered.csv sur votre machine.

Ce tutoriel utilise une base de données. Si vous n'avez pas de base de données, cliquez sur l'onglet Téléchargements et enregistrez customers_unordered.sql. Vous devez importer la base de données dans un programme compatible.

Comprendre les métadonnées dans le Studio Talend

Le Studio Talend vous permet de créer et d'exécuter des Jobs à l'aide de composants prédéfinis. Vous pouvez configurer chaque composant comme étant de type Built-in ou Repository. Un composant de type Repository est sauvegardé comme métadonnée.

Pour les composants Built-in, les informations (notamment comment lire le fichier et ce qu'il contient) :
  • sont définies dans le composant,
  • s'appliquent uniquement à ce composant,
  • ne peuvent être réutilisées par d'autres composants.
Pour les composants Repository, les informations (notamment comment lire le fichier et ce qu'il contient) :
  • sont sauvegardées en tant que métadonnée,
  • peuvent être réutilisées efficacement et de manière cohérente,
  • sont facilement maintenables car chaque modification apportée à la métadonnée peut être propagée à tous les Jobs l'utilisant.

Créer un projet dans le Studio Talend

Créer un projet est la première étape d'utilisation du Studio Talend. Les projets vous permettent d'organiser votre travail.

Procédure

  1. Sélectionnez Create a new project.
  2. Saisissez un nom pour votre projet.

    Exemple

    TalendDemo
  3. Cliquez sur Create.
  4. Cliquez sur Finish.

Résultats

Votre projet s'ouvre. Vous êtes prêt·e à travailler dans le Studio Talend.

Créer un Job pour utiliser la métadonnée

Les projets du Studio Talend contiennent des Jobs. Dans les Jobs, vous pouvez construire des workflows via les composants, ce qui vous permet d'effectuer des actions spécifiques.

Avant de commencer

Sélectionnez la perspective Integration (Window > Perspective > Integration).

Procédure

  1. Dans le Repository, cliquez-droit sur Job Designs.
    1. Sélectionnez Create Standard Job.
  2. Dans le champ Name, saisissez un nom.

    Exemple

    useMetadata
  3. Facultatif : Dans le champ Purpose, saisissez un objectif.

    Exemple

    Display the use of Metadata in Studio Talend
  4. Facultatif : Dans le champ Description, saisissez une description.

    Exemple

    A simple job to demonstrate built-in properties vs. metadata
    Conseil : Saisir un objectif dans le champ Purpose et une Description permet une meilleure organisation.
  5. Cliquez sur Finish.

Résultats

L'espace de modélisation graphique (Designer) ouvre un Job vide.

Configuration des métadonnées

En configurant les métadonnées, vous pouvez configurer les informations réutilisables dans tous les composants du Studio Talend.

Créer une définition de métadonnée

Créer une définition de métadonnée vous permet de configurer des informations réutilisables à travers tous les composants.

Avant de commencer

  • Ce tutoriel utilise un fichier .csv. Si vous n'avez pas de fichier .csv, cliquez sur l'onglet Téléchargements et enregistrez le fichier customers_unordered.csv sur votre machine.

  • Ce tutoriel utilise également un autre fichier délimité. Si vous n'avez pas d'autre fichier délimité, cliquez sur l'onglet Téléchargements et enregistrez le fichier directors.txt sur votre machine.

Procédure

  1. Dans le Repository, développez Metadata, File delimited et cliquez sur Create file delimited.
  2. Dans le champ Name, saisissez un nom.

    Exemple

    Customers
  3. Facultatif : Dans le champ Purpose, saisissez un objectif.

    Exemple

    Creating reusable metadata thanks to a .csv file
  4. Facultatif : Dans le champ Description, saisissez une description.

    Exemple

    Reusable shareable customer metadata
    Conseil : Saisir un objectif dans le champ Purpose et une Description permet une meilleure organisation.
  5. Cliquez sur Next.
    Vous arrivez à l'étape 2 de l'assistant.
  6. Cliquez sur Browse et sélectionnez le fichier de votre choix dans l'explorateur de fichiers.
  7. Cliquez sur Next.
    Vous arrivez à l'étape 3 de l'assistant.
  8. Facultatif : Configurez les paramètres du fichier.

    Exemple

    • Dans la zone File Settings, sélectionnez votre séparateur de champs dans la liste Field Separator et modifiez-le, si nécessaire.
      Remarque : Le séparateur de champs (Field Separator) le plus utilisé est ;.
    • Dans l'onglet Preview, cochez la case Set heading row as column names. Le champ Header est automatiquement renseigné par la valeur 1, ce qui signifie que la première ligne de votre fichier contient des en-têtes.
    Conseil : Dans l'onglet Preview, cliquez sur le bouton Refresh Preview pour vérifier votre configuration.
  9. Cliquez sur Next.
    Vous arrivez à l'étape 4 de l'assistant.
  10. Facultatif : Dans le champ Name, saisissez un nom.

    Exemple

    customersSchema
  11. Facultatif : Mettez à jour le schéma dans la zone Schema, pour qu'il soit identique à la structure du fichier d'exemple.

    Exemple

    Modifiez le Type de la colonne Number à String. Les codes postaux ne sont pas utilisés pour effectuer des opérations arithmétiques.
  12. Cliquez sur Finish.

Résultats

Dans le Repository, sous Metadata, vous pouvez voir et utilise votre métadonnée.

Configurer un composant via une métadonnée

Configurer un composant via une métadonnée vous permet de le configurer avec des informations prédéfinies.

Avant de commencer

Vous avez créé une définition de métadonnée (consultez Créer une définition de métadonnée).

Procédure

  1. Cliquez dans l'espace de modélisation graphique (Designer).
  2. Ajoutez un composant tFileInputDelimited.
    Remarque : Par défaut, le composant est configuré avec les paramètres Built-in.
  3. Double-cliquez sur le composant tFileInputDelimited.
    1. Dans la liste Property Type, sélectionnez Repository.
    2. Cliquez sur le bouton [...] à côté du champ Repository.
    3. Sous Metadata > File delimited, sélectionnez une définition de métadonnée.

      Exemple

      customers 0.1
      Tous les champs de l'onglet Component sont renseignés avec les informations de la métadonnée. Ils s'affichent en gris, ce qui indique qu'ils appartiennent à la métadonnée et non au composant.

Résultats

Vous avez terminé la configuration du composant via une métadonnée.

Créer une définition de métadonnée à partir d'une base de données

Dans le Studio Talend, vous pouvez récupérer une définition de métadonnée depuis une base de données, tirant ainsi parti de vos ressources existantes.

Avant de commencer

Ce tutoriel utilise une base de données. Si vous n'avez pas de base de données, cliquez sur l'onglet Téléchargements et enregistrez customers_unordered.sql. Vous devez importer la base de données dans un programme compatible.

Procédure

  1. Dans le Repository, développez Metadata, cliquez-droit sur Db Connections et sélectionnez Create connection.
    Vous arrivez à l'étape 1 de l'assistant.
  2. Dans le champ Name, saisissez un nom.

    Exemple

    MySQL
  3. Facultatif : Dans le champ Purpose, saisissez un objectif.

    Exemple

    Demonstrate how to fetch metadata from a database
  4. Facultatif : Dans le champ Description, saisissez une description.

    Exemple

    Fetching CSV data imported into a MySQL database
    Conseil : Saisir un objectif dans le champ Purpose et une Description permet une meilleure organisation.
  5. Cliquez sur Next.
    Vous arrivez à l'étape 2 de l'assistant.
  6. Saisissez vos informations de connexion.
    Conseil : Cliquez sur le bouton Test connection afin de vérifier votre connexion à la base de données.
  7. Cliquez sur Finish.
    Vous arrivez dans l'espace de modélisation graphique (Designer).
  8. Cliquez-droit sur votre métadonnée dans le Repository.
    1. Cliquez sur Retrieve Schema.
      Vous arrivez dans la fenêtre Filter for the Table.
    2. Cliquez sur Next.
      Vous arrivez dans la fenêtre Add a Schema on repository.
    3. Cochez la case près du nom de la table.
    4. Cliquez sur Next.
      Le schéma de la base de données s'affiche.
    5. Facultatif : Modifiez les paramètres du Schéma, dans la zone Schema.
    6. Cliquez sur Finish.

Résultats

Tous les schémas de tables ont été importés en tant que métadonnées et peuvent être réutilisés dans vos composants.

Utiliser des métadonnées pour lire une base de données et afficher les résultats

Vous pouvez lire et gérer des bases de données dans le Studio Talend, vous permettant de les intégrer dans vos workflows de gestion de données.

Avant de commencer

  • Ce tutoriel utilise une base de données. Si vous n'avez pas de base de données, cliquez sur l'onglet Téléchargements et enregistrez customers_unordered.sql. Vous devez importer la base de données dans un programme compatible.

  • Vous avez créé une définition de métadonnée à partir d'une base de données (consultez Créer une définition de métadonnée à partir d'une base de données).

Procédure

  1. Dans le Repository, développez Metadata > Db Connections.
  2. Glissez-déposez une métadonnée de base de données dans l'espace de modélisation graphique (Designer).
    1. Sélectionnez le composant tDBInput.
      Le composant hérite du schéma de la base de données.
  3. Dans l'espace de modélisation graphique (Designer), ajoutez un composant tLogRow.
  4. Cliquez-droit sur le composant tDBInput.
    1. Sélectionnez Row > Main.
    2. Cliquez sur le tLogRow pour relier les deux composants.
  5. Facultatif : Dans le tLogRow, dans la zone Mode, sélectionnez l'option Table.
  6. Dans la vue Run, cliquez sur le bouton Run pour exécuter votre Job.

Résultats

Le composant tDBInput, configuré via les métadonnées, lit votre base de données. Le tLogRow affiche son contenu dans la console.