Créer et utiliser des métadonnées dans le Studio Talend

Avec ce tutoriel, découvrez comment la création et l'utilisation de métadonnées dans le Studio Talend peut vous permettre de gagner beaucoup de temps en phase de développement.

Ce tutoriel utilise un fichier .csv. Si vous n'avez pas de fichier .csv, cliquez sur l'onglet Téléchargements et enregistrez le fichier customers_unordered.csv sur votre machine.

Ce tutoriel utilise une base de données. Si vous n'avez pas de base de données, cliquez sur l'onglet Téléchargements et enregistrez customers_unordered.sql. Vous devez importer la base de données dans un programme compatible.

Comprendre les métadonnées dans le Studio Talend

Le Studio Talend vous permet de créer et d'exécuter des Jobs à l'aide de composants prédéfinis. Vous pouvez configurer chaque composant comme étant de type Built-in ou Repository. Un composant de type Repository est sauvegardé comme métadonnée.

Pour les composants Built-in, les informations (notamment comment lire le fichier et ce qu'il contient) :

sont définies dans le composant,
s'appliquent uniquement à ce composant,
ne peuvent être réutilisées par d'autres composants.

Pour les composants Repository, les informations (notamment comment lire le fichier et ce qu'il contient) :

sont sauvegardées en tant que métadonnée,
peuvent être réutilisées efficacement et de manière cohérente,
sont facilement maintenables car chaque modification apportée à la métadonnée peut être propagée à tous les Jobs l'utilisant.

Créer un projet dans le Studio Talend

Créer un projet est la première étape d'utilisation du Studio Talend. Les projets vous permettent d'organiser votre travail.

Procédure

Sélectionnez Create a new project.
Saisissez un nom pour votre projet.
Exemple
TalendDemo
Cliquez sur Create.
Cliquez sur Finish.

Résultats

Votre projet s'ouvre. Vous êtes prêt·e à travailler dans le Studio Talend.

Créer un Job pour utiliser la métadonnée

Les projets du Studio Talend contiennent des Jobs. Dans les Jobs, vous pouvez construire des workflows via les composants, ce qui vous permet d'effectuer des actions spécifiques.

Avant de commencer

Sélectionnez la perspective Integration (Window > Perspective > Integration).

Procédure

Dans le Repository, cliquez-droit sur Job Designs.
1. Sélectionnez Create Standard Job.
Dans le champ Name, saisissez un nom.
Exemple
useMetadata
Facultatif : Dans le champ Purpose, saisissez un objectif.
Exemple
Display the use of Metadata in Studio Talend
Facultatif : Dans le champ Description, saisissez une description.
Exemple
A simple job to demonstrate built-in properties vs. metadata

Conseil : Saisir un objectif dans le champ Purpose et une Description permet une meilleure organisation.
Cliquez sur Finish.

Résultats

L'espace de modélisation graphique (Designer) ouvre un Job vide.

Configuration des métadonnées

En configurant les métadonnées, vous pouvez configurer les informations réutilisables dans tous les composants du Studio Talend.

Créer une définition de métadonnée

Créer une définition de métadonnée vous permet de configurer des informations réutilisables à travers tous les composants.

Avant de commencer

Ce tutoriel utilise un fichier .csv. Cliquez sur l'onglet Téléchargements, dans le panneau de gauche et sauvegardez le fichier customers_unordered.csv.

Procédure

Dans le Repository, développez Metadata, File delimited et cliquez sur Create file delimited.
Dans le champ Name, saisissez un nom.
Exemple
Customers
Facultatif : Dans le champ Purpose, saisissez un objectif.
Exemple
Creating reusable metadata thanks to a .csv file
Facultatif : Dans le champ Description, saisissez une description.
Exemple
Reusable shareable customer metadata

Conseil : Saisir un objectif dans le champ Purpose et une Description permet une meilleure organisation.
Cliquez sur Next.
Vous arrivez à l'étape 2 de l'assistant.
Cliquez sur Browse et sélectionnez le fichier de votre choix dans l'explorateur de fichiers.
Cliquez sur Next.
Vous arrivez à l'étape 3 de l'assistant.
Facultatif : Configurez les paramètres du fichier.

Exemple
- Dans la zone File Settings, sélectionnez votre séparateur de champs dans la liste Field Separator et modifiez-le, si nécessaire.
  Remarque : Le séparateur de champs (Field Separator) le plus utilisé est ;.
- Dans l'onglet Preview, cochez la case Set heading row as column names. Le champ Header est automatiquement renseigné par la valeur 1, ce qui signifie que la première ligne de votre fichier contient des en-têtes.
Conseil : Dans l'onglet Preview, cliquez sur le bouton Refresh Preview pour vérifier votre configuration.
Cliquez sur Next.
Vous arrivez à l'étape 4 de l'assistant.
Facultatif : Dans le champ Name, saisissez un nom.
Exemple
customersSchema
Facultatif : Mettez à jour le schéma dans la zone Schema, pour qu'il soit identique à la structure du fichier d'exemple.
Exemple
Modifiez le Type de la colonne Number à String. Les codes postaux ne sont pas utilisés pour effectuer des opérations arithmétiques.
Cliquez sur Finish.

Résultats

Dans le Repository, sous Metadata, vous pouvez voir et utilise votre métadonnée.

Configurer un composant via une métadonnée

Configurer un composant via une métadonnée vous permet de le configurer avec des informations prédéfinies.

Avant de commencer

Vous avez créé une définition de métadonnée (consultez Créer une définition de métadonnée).

Procédure

Cliquez dans l'espace de modélisation graphique (Designer).
Ajoutez un composant tFileInputDelimited.

Remarque : Par défaut, le composant est configuré avec les paramètres Built-in.
Double-cliquez sur le composant tFileInputDelimited.
1. Dans la liste Property Type, sélectionnez Repository.
2. Cliquez sur le bouton [...] à côté du champ Repository.
3. Sous Metadata > File delimited, sélectionnez une définition de métadonnée.
  Exemple
  customers 0.1
  
  Tous les champs de l'onglet Component sont renseignés avec les informations de la métadonnée. Ils s'affichent en gris, ce qui indique qu'ils appartiennent à la métadonnée et non au composant.

Résultats

Vous avez terminé la configuration du composant via une métadonnée.

Créer une définition de métadonnée à partir d'une base de données

Dans le Studio Talend, vous pouvez récupérer une définition de métadonnée depuis une base de données, tirant ainsi parti de vos ressources existantes.

Avant de commencer

Procédure

Dans le Repository, développez Metadata, cliquez-droit sur Db Connections et sélectionnez Create connection.
Vous arrivez à l'étape 1 de l'assistant.
Dans le champ Name, saisissez un nom.
Exemple
MySQL
Facultatif : Dans le champ Purpose, saisissez un objectif.
Exemple
Demonstrate how to fetch metadata from a database
Facultatif : Dans le champ Description, saisissez une description.
Exemple
Fetching CSV data imported into a MySQL database

Conseil : Saisir un objectif dans le champ Purpose et une Description permet une meilleure organisation.
Cliquez sur Next.
Vous arrivez à l'étape 2 de l'assistant.
Saisissez vos informations de connexion.

Conseil : Cliquez sur le bouton Test connection afin de vérifier votre connexion à la base de données.
Cliquez sur Finish.
Vous arrivez dans l'espace de modélisation graphique (Designer).
Cliquez-droit sur votre métadonnée dans le Repository.
1. Cliquez sur Retrieve Schema.
  Vous arrivez dans la fenêtre Filter for the Table.
2. Cliquez sur Next.
  Vous arrivez dans la fenêtre Add a Schema on repository.
3. Cochez la case près du nom de la table.
4. Cliquez sur Next.
  Le schéma de la base de données s'affiche.
5. Facultatif : Modifiez les paramètres du Schéma, dans la zone Schema.
6. Cliquez sur Finish.

Résultats

Tous les schémas de tables ont été importés en tant que métadonnées et peuvent être réutilisés dans vos composants.

Utiliser des métadonnées pour lire une base de données et afficher les résultats

Vous pouvez lire et gérer des bases de données dans le Studio Talend, vous permettant de les intégrer dans vos workflows de gestion de données.

Avant de commencer

Ce tutoriel utilise une base de données. Si vous n'avez pas de base de données, cliquez sur l'onglet Téléchargements et enregistrez customers_unordered.sql. Vous devez importer la base de données dans un programme compatible.
Vous avez créé une définition de métadonnée à partir d'une base de données (consultez Créer une définition de métadonnée à partir d'une base de données).

Procédure

Dans le Repository, développez Metadata > Db Connections.
Glissez-déposez une métadonnée de base de données dans l'espace de modélisation graphique (Designer).
1. Sélectionnez le composant tDBInput.
  Le composant hérite du schéma de la base de données.
Dans l'espace de modélisation graphique (Designer), ajoutez un composant tLogRow.
Cliquez-droit sur le composant tDBInput.
1. Sélectionnez Row > Main.
2. Cliquez sur le tLogRow pour relier les deux composants.
Facultatif : Dans le tLogRow, dans la zone Mode, sélectionnez l'option Table.
Dans la vue Run, cliquez sur le bouton Run pour exécuter votre Job.

Résultats

Le composant tDBInput, configuré via les métadonnées, lit votre base de données. Le tLogRow affiche son contenu dans la console.