Analyser les éléments du Repository - 6.1

Talend Data Services Platform Studio Guide utilisateur

EnrichVersion
6.1
EnrichProdName
Talend Data Services Platform
task
Création et développement
Qualité et préparation de données
EnrichPlatform
Studio Talend

Le Studio Talend fournit des fonctions avancées pour analyser chaque élément donné, ou Job, dans la vue du Repository. Ceci implique deux types de navigation : dans l'ordre d'exécution pour identifier les éléments descendants du composant cible (Analyse d'impact) et dans l'ordre inverse de celui d'exécution pour identifier les éléments à partir de la source du composant (Lignage de données). Les résultats de l'analyse d'impact détermineront l'origine des données, le processus de transformation, leur sortie. Les résultats du lignage de données détermineront ces mêmes éléments, dans l'ordre inverse.

Avertissement

Tous les éléments sur lesquels vous procédez à une analyse d'impact ou à un lignage de données doivent être centralisés dans la vue du Repository sous chacun des nœuds suivants : Joblets Designs, Contexts, SQL Templates, Referenced project ou Metadata.

Analyse d'impact

L'analyse d'impact permet d'identifier tous les Jobs utilisant les éléments centralisés dans la vue Repository qui seront impactés par une modification des paramètres de ces éléments.

L'analyse d'impact analyse également le flux de données de chaque Job listé, pour afficher tous les composants et toutes les étapes par lesquelles est passé le flux de données, ainsi que les transformations effectuées sur les données du composant source au composant cible.

Le Studio Talend vous permet également de générer une documentation détaillée, au format HTML, des résultats de l'analyse d'impact. Pour plus d'informations, consultez Exporter les résultats de l'analyse d'impact/du lignage de données au format HTML.

Avertissement

Tous les éléments sur lesquels vous procédez à une analyse d'impact ou à un lignage de données doivent être centralisés dans la vue du Repository sous chacun des nœuds suivants : Joblets Designs, Contexts, SQL Templates,Referenced project ou Metadata.

L'exemple ci-dessous montre une analyse d'impact réalisée sur un élément de connexion à la base de données stocké sous le nœud Metadata dans la vue Repository.

Pour analyser le flux de données de chaque Job listé depuis le composant source au composant cible, procédez comme suit :

  1. Dans la vue Repository, développez le nœud Metadata et parcourez jusqu'à l'entrée de la métadonnée que vous souhaitez analyser. Dans cet exemple, il s'agit d' employees sous la connexion à la base de données mysql.

  2. Cliquez-droit sur l'entrée et sélectionnez Impact Analysis.

    Une barre de progression indique le processus de vérification pour tous les Jobs utilisant les paramètres modifiés de métadonnées. La vue [Impact Analysis] s'affiche dans le Studio pour lister tous les Jobs utilisant l'entrée de la métadonnée sélectionnée. Les noms des connexions à la base de données et les tables sélectionnés s'affichent par défaut dans les champs correspondants.

    Note

    Vous pouvez également ouvrir cette vue si vous sélectionnez Window - Show View - Talend - Impact Analysis.

  3. Cliquez-droit sur un Job listé et sélectionnez :

    Option

    Pour...

    Open Job

    ouvrir le Job correspondant dans le Studio workspace.

    Expand/Collapse

    développer ou réduire tous les éléments du Job sélectionné.

    De cette façon, vous obtenez une vue d'ensemble des Jobs utilisant l'entrée de la métadonnée sélectionnée.

  4. Dans la liste Column, sélectionnez la colonne name dans laquelle vous voulez analyser le flux de données depuis la source des données (composant d'entrée), ainsi que les différents composants et étapes, jusqu'à la destination des données (composant de sortie), la colonne name dans cet exemple.

    Note

    La case Last version est cochée par défaut. Cette option vous permet de sélectionner la dernière version de votre Job plutôt que d'afficher toutes les versions du Job dans les résultats de l'analyse.

  5. Cliquez sur Analysis....

    Une barre de progression s'affiche pour montrer l'avancée du processus d'analyse. Les résultats de l'analyse s'affichent dans la vue.

Note

Autrement, vous pouvez directement cliquer droit sur une colonne spécifique dans la vue Repository et sélectionner Impact Analysis dans le menu contextuel afin d'afficher les résultats de l'analyse de cette colonne dans la vue [Impact Analysis].

Les résultats de l'analyse d'impact affichent les composants et les transformations à travers lesquels les données de la colonne source name sont passées, avant de les écrire dans la colonne de sortie name.

Lignage des données

Le lignage des données montre le flux de données à partir de la destination de celles-ci (composant de sortie), en passant par les différents composants et étapes, jusqu'à la source des données (composant d'entrée). Les résultats du lignage des données tracent le cycle du flux de données entre les différents composants, et incluent les opérations réalisées sur les données.

Le Studio Talend vous permet aussi de générer une documentation détaillée des résultats du processus de lignage de données au format HTML. Pour plus d'informations, consultez Exporter les résultats de l'analyse d'impact/du lignage de données au format HTML.

Avertissement

Tous les éléments sur lesquels vous voulez réaliser une analyse d'impact ou un lignage de données doivent être centralisés dans la vue du Repository sous les nœuds suivants : Joblets Designs, Contexts , SQL Templates, Referenced project ou Metadata.

L'exemple ci-dessous montre le lignage de données opéré sur un élément de connexion à la base de données enregistré sous le nœud Metadata dans la vue Repository.

Pour lancer un lignage de données sur un élément de la base de données, procédez comme suit :

  1. Dans la vue du Repository, développez le nœud Metadata > Db Connection. Ensuite, développez la connexion à la base de données que vous souhaitez analyser, mysql dans cet exemple.

  2. Cliquez-droit sur le schéma centralisé de la table sur lequel vous souhaitez analyser le cycle du flux de données, employees dans cet exemple.

    La vue Impact Analysis affiche le ou les Job(s) listé(s) utilisant le schéma de la table sélectionnée. Les noms de la connexion à la base de données et le schéma de la table s'affichent par défaut dans les champs correspondants.

  3. Dans la liste Column, sélectionnez le nom de la colonne dans laquelle vous voulez analyser le flux de données, à partir de la destination des données (composant de sortie), en passant par les différents composants et étapes, jusqu'à la source des données (composant d'entrée). La colonne à analyser dans cet exemple est la colonne Name.

    Vous pouvez passer cette étape en cliquant droit sur la colonne Name de la vue Repository et en sélectionnant Impact Analysis dans le menu contextuel.

  4. Cliquez sur Data Lineage.

    Une barre de progression s'affiche pour montrer l'avancée du processus d'analyse. Les résultats de l'analyse s'affichent dans la vue.

  5. Cliquez-droit sur le Job listé et sélectionnez Open Job dans le menu contextuel.

    Le Job s'ouvre dans l'espace de modélisation graphique.

Les résultats du lignage de données affichent les composants et les transformations par lesquels sont passées les données, avant d'être inscrits dans la colonne de sortie name.

Exporter les résultats de l'analyse d'impact/du lignage de données au format HTML

Le Studio Talend vous permet de générer de la documentation détaillée au format HTML des résultats de l'analyse d'impact ou du lignage de données effectué(e) sur l'élément sélectionné du Repository. Cette documentation comprend des informations relatives aux Jobs utilisant l'élément sélectionné, comme : la description du projet, son auteur, un aperçu des résultats graphiques de l'analyse effectuée sur les Jobs impactés.

Pour générer un document HTML d'une analyse d'impact ou d'un lignage de données, procédez comme suit :

  1. Après avoir analysé un élément donné du Repository, comme décrit dans Analyse d'impact ou Lignage des données cliquez sur le bouton Export to HTML dans la vue Impact Analysis.

    La boîte de dialogue [Generate Documentation] s'ouvre.

  2. Parcourez votre répertoire jusqu'à l'emplacement où vous souhaitez stocker l'archive générée de la documentation, puis donnez un nom à cette archive HTML.

  3. Cochez la case Custom CSS template to export pour activer le champ CSS File, si vous devez utiliser votre propre fichier CSS pour personnaliser les fichiers HTML exportés. Le dossier de destination des fichiers HTML contiendra les fichiers HTML, un fichier CSS, un fichier XML et un dossier d'images.

  4. Cliquez sur Finish afin de valider l'opération et fermer la boîte de dialogue.

    Un fichier d'archive contenant tous les fichiers requis et les fichiers HTML de sortie est créé à l'emplacement spécifié.

  5. Double-cliquez sur le fichier HTML dans l'archive générée pour l'ouvrir dans votre navigateur Web.

    La capture d'écran ci-dessous montre un exemple d'un fichier HTML généré.

Note

Vous pouvez également définir la personnalisation CSS comme une préférence pour exporter en HTML. Pour ce faire, consultez Préférences de la documentation (Talend > Documentation).

Le fichier archive rassemble tous les documents générés, y compris les fichiers HTML donnant une description du projet contenant les Jobs analysés, et un aperçu des résultats graphiques de l'analyse.

Exporter les résultats de l'analyse d'impact/du lignage de données au format XML

Le Studio Talend vous permet de générer de la documentation détaillée au format XML des résultats de l'analyse d'impact ou du lignage de données effectué(e) sur l'élément sélectionné du Repository. Cette documentation structurée sous forme d'arborescence peut être traitée par des applications analytiques automatisées dans un but d'analyses de Job et de reporting.

Pour générer un document XML des résultats d'analyse d'impact ou de lignage de données sur l'élément sélectionné du Repository, procédez comme suit :

  1. Après avoir analysé un élément donné du Repository, comme décrit dans Analyse d'impact ou Gérer les mises à jour des éléments du Repository, dans la vue Impact Analysis, cliquez sur le bouton Export to XML.

    La boîte de dialogue [Generate XML] apparaît.

  2. Dans le champ Destination XML file, saisissez le chemin d'accès menant à l'endroit où vous souhaitez stocker le document XML généré ou parcourez votre système jusqu'à l'emplacement désiré puis donnez un nom à ce fichier XML.

  3. Cochez la case Overwrite existing files without warning afin de supprimer le message d'avertissement si le nom de fichier spécifié existe déjà.

  4. Cliquez sur Finish afin de valider l'opération et fermer la boîte de dialogue.

    Un fichier XML contenant les informations de l'analyse d'impact ou du lignage de données est créé à l'emplacement spécifié.

La capture d'écran ci-dessous montre un exemple d'un fichier XML généré, ouvert dans un éditeur de texte.