tPaloDimension - 6.1

Composants Talend Open Studio Guide de référence

EnrichVersion
6.1
EnrichProdName
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for Data Quality
Talend Open Studio for ESB
Talend Open Studio for MDM
task
Création et développement
Gouvernance de données
Qualité et préparation de données
EnrichPlatform
Studio Talend

Propriétés du tPaloDimension

Famille du composant

Business Intelligence/Cube OLAP/Palo

 

Fonction

Le composant tPaloDimension crée, supprime ou recrée des dimensions avec ou sans éléments de dimension dans une base de données Palo.

Objectif

Ce composant gère les dimensions Palo, ainsi que les éléments dans une base de données.

Basic settings

Use an existing connection

Cochez cette case et sélectionnez le composant de connexion adéquat à partir de la liste Component List pour réutiliser les paramètres d'une connexion que vous avez déjà définie.

Note

Lorsqu'un Job contient un Job parent et un Job enfant, la liste Component List présente uniquement les composants de connexion du Job du même niveau.

Connection configuration

Note

Indisponible lors de l'utilisation d'une connexion existante.

Host Name

Saisissez le nom de l'hôte ou l'adresse IP du serveur hôte.

 

Server Port

Saisissez le numéro du port d'écoute du serveur Palo.

 

Username et Password

Informations d'authentification de l'utilisateur de Palo.

Pour saisir le mot de passe, cliquez sur le bouton [...] à côté du champ Password, puis, dans la boîte de dialogue qui s'ouvre, saisissez le mot de passe entre guillemets doubles, puis cliquez sur OK afin de sauvegarder les paramètres.

 

Database

Saisissez le nom de la base de données dans laquelle les dimensions sont gérées.

 

Dimension

Saisissez le nom de la dimension sur laquelle l'opération donnée doit s'effectuer.

 

Action on dimension

Sélectionnez l'opération que vous souhaitez effecteur sur la dimension :

- None : aucune action n'est effectuée sur la dimension.

- Create dimension : la dimension n'existe pas et sera créée.

- Create dimension if not exists : cette dimension est créée quand elle n'existe pas.

- Delete dimension if exists and create : cette dimension est supprimée si elle existe et une nouvelle dimension est créée.

- Delete dimension : la dimension est supprimée de la base de données.

 

Create dimension elements

Cochez cette case pour activer les champs de gestion des dimensions et créer des éléments de dimension , et créer cette dimension.

Note

Les champs ci-dessous sont disponibles uniquement quand la case Create dimension elements est cochée.

Dimension type

 

Note

Disponible uniquement lorsque l'action à effectuer sur la dimension est None.

Sélectionnez le type de dimension à créer. Le type peut être :

- Normal

- User info

- System

- Attribute

 

Commit size

Saisissez le nombre d'éléments qui seront créés avant de les sauvegarder dans la dimension.

 

Schema et Edit Schema

Un schéma est une description de lignes, il définit le nombre de champs (colonnes) qui sont traités et passés au composant suivant. Le schéma est soit local (Built-In), soit distant dans le Repository.

Depuis la version 5.6, les modes Built-In et Repository sont disponibles dans toutes les solutions de Talend.

Cliquez sur Edit schema pour modifier le schéma. Si le schéma est en mode Repository, trois options sont disponibles :

  • View schema : sélectionnez cette option afin de voir le schéma.

  • Change to Built-In property : sélectionnez cette option pour passer le schéma en mode Built-In et effectuer des modifications locales.

  • Update repository connection : sélectionnez cette option afin de modifier le schéma stocké dans le référentiel et décider de propager ou non les modifications à tous les Jobs. Si vous souhaitez propager les modifications uniquement au Job courant, sélectionnez No et sélectionnez à nouveau la métadonnée du schéma dans la fenêtre [Repository Content].

 

 

Built-in : Le schéma est créé et conservé ponctuellement pour ce composant seulement. Voir également le Guide utilisateur du Studio Talend.

 

 

Repository : Le schéma existe déjà et est stocké dans le Repository. Ainsi, il peut être réutilisé. Voir également le Guide utilisateur du Studio Talend.

 

Consolidation type - None

Note

Cette option active les champs des paramètres correspondants devant être renseignés.

Sélectionnez ce bouton pour déplacer directement les éléments entrants dans la dimension donnée. Avec cette option, vous ne définissez aucune consolidation ou hiérarchie.

 

 

Input Column : sélectionnez une colonne dans la liste déroulante. Les colonnes de la liste déroulante sont celles que vous avez définies dans le schéma. Les valeurs de la colonne sélectionnée seront prises en compte lors du traitement d'éléments de dimension.

 

 

Element type : Sélectionnez le type d'éléments. Il peut être :

- Numeric

- Text

 

 

Creation mode : Sélectionnez le mode de création pour les éléments à traiter. Ce mode peut être :

- Add : ajoute simplement un élément à la dimension.

- Force add : force la création de cet élément. S'il existe, l'élément sera recréé.

- Update : met à jour l'élément s'il existe.

- Add or Update : si l'élément n'existe pas, il sera créé. S'il existe, il sera mis à jour. Cette option est l'option par défaut.

- Delete : supprime cet élément de la dimension.

 

Consolidation type - Normal

Note

Cette option active les champs des paramètres correspondants devant être renseignés.

Sélectionnez ce bouton pour créer des éléments et les consolider dans la dimension donnée. Cette consolidation structure les éléments créés à différents niveaux.

 

 

Input Column: sélectionnez une colonne dans la liste déroulante. Les colonnes de la liste déroulante sont celles que vous avez définies dans le schéma. Les valeurs de la colonne sélectionnée seront prises en compte lors du traitement d'éléments de dimension.

 

 

Element type : Sélectionnez le type d'éléments. Il peut être :

- Numeric

- Text

 

 

Creation mode : Sélectionnez le mode de création pour les éléments à créer. Ce mode peut être :

- Add : ajoute simplement un élément à la dimension.

- Force add : force la création de cet élément. S'il existe, l'élément sera recréé.

- Update : met à jour l'élément s'il existe.

- Add or Update : si l'élément n'existe pas, il sera créé. S'il existe, il sera mis à jour. Cette option est l'option par défaut.

 

Consolidation type - Self-referenced

Note

Cette option active les champs des paramètres correspondants devant être renseignés.

Sélectionnez ce bouton pour créer des éléments et les structurer à partir d'une relation parent-enfant. Le flux d'entrée est responsable du regroupement de la consolidation.

 

Element's type

Sélectionnez le type d'éléments. Il peut être :

- Numeric

- Text

 

Creation mode

Sélectionnez le mode de création pour les éléments à créer. Ce mode peut être :

- Add : ajoute simplement un élément à la dimension.

- Force add : force la création de cet élément. S'il existe, l'élément sera recréé.

- Update : met à jour l'élément s'il existe.

- Add or Update : si l'élément n'existe pas, il sera créé. S'il existe, il sera mis à jour. Cette option est l'option par défaut.

 

 

Input Column : sélectionnez une colonne dans la liste déroulante. Les colonnes dans cette liste sont celles que vous avez définies dans le schéma. Les valeurs de la colonne sélectionnée seront prises en compte lors du traitement d'éléments de dimension.

 

 

Hierarchy Element : sélectionnez le type et la relation de cette colonne d'entrée pour la consolidation.

- Parent : définissez la valeur d'entrée en tant qu'élément parent.

- Child : lie la valeur d'entrée à la valeur parent et construit la consolidation.

- Factor : définissez le facteur de cette consolidation.

Advanced settings

tStatCatcher Statistics

Cochez cette case pour collecter les données de log au niveau du composant.

Utilisation

Ce composant peut être utilisé en standalone ou comme composant de fin d'un processus.

Connections

Liens de sortie (de ce composant à un autre) :

Trigger : Run if, On Subjob Ok, On Subjob Error, On Component Ok, On Component Error.

Liens d'entrée (d'un autre composant à celui-ci) :

Row : Main, Iterate

Trigger : Run if, On Subjob Ok, On Subjob Error, On Component Ok, On Component Error

Pour plus d'informations concernant les connexions, consultez la section relatives aux différents types de connexions, dans le Guide utilisateur du Studio Talend.

Global Variables

DIMENSIONNAME : nom de la dimension. Cette variable est une variable After et retourne une chaîne de caractères.

ERROR_MESSAGE : message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères. Cette variable fonctionne uniquement si la case Die on error est décochée, si le composant a cette option.

Une variable Flow fonctionne durant l'exécution d'un composant. Une variable After fonctionne après l'exécution d'un composant.

Pour renseigner un champ ou une expression à l'aide d'une variable, appuyez sur les touches Ctrl+Espace pour accéder à la liste des variables. A partir de cette liste, vous pouvez choisir la variable que vous souhaitez utiliser.

Pour plus d'informations concernant les variables, consultez le Guide utilisateur du Studio Talend.

Log4j

Si vous utilisez une solution Talend soumise à souscription, l'activité de ce composant peut être journalisée avec la fonctionnalité log4j. Pour plus d'informations sur cette fonctionnalité, consultez le Guide utilisateur du Studio Talend.

Pour plus d'informations sur les niveaux de logs du log4j, consultez la documentation d'Apache : http://logging.apache.org/log4j/1.2/apidocs/org/apache/log4j/Level.html (en anglais).

Limitation

La suppression d'éléments de dimension est possible uniquement avec le type de consolidation None. Seul le type de consolidation Self-Referenced permet le placement d'un facteur dans cette consolidation.

Du fait d'une incompatibilité de licence, un ou plusieurs Jar requis pour utiliser ce composant ne sont pas fournis. Vous pouvez installer les Jar manquants pour ce composant en cliquant sur le bouton Install dans l'onglet Component. Vous pouvez également trouver les Jar manquants et les ajouter dans l'onglet Modules de la perspective Integration de votre studio. Pour plus d'informations, consultez la page https://help.talend.com/display/KB/How+to+install+external+modules+in+the+Talend+products (en anglais) ou la section décrivant comment configurer le studio, dans le Guide d'installation et de migration Talend.

Scénario : Créer une dimension avec des éléments

Le Job de ce scénario crée une dimension de date avec une hiérarchie d'éléments simple, composée de trois niveaux : Year, Month, Date (Année, mois, date).

Pour reproduire ce scénario, procédez comme suit :

Construire le Job

  1. Déposez un composant tPaloConnection, un tRowGenerator, un tMap, et un tPaloDimension de la Palette dans l'espace de modélisation graphique.

  2. Cliquez-droit sur le tPaloConnection afin d'ouvrir le menu contextuel et sélectionnez Trigger > On Subjob Ok pour le relier au tRowGenerator.

  3. Cliquez-droit sur le tRowGenerator afin d'ouvrir le menu contextuel et sélectionnez Row > Main pour le relier au tMap.

    Note

    Le tRowGenerator est utilisé pour générer des lignes au hasard afin de simplifier ce processus. Dans un cas réel d'utilisation, vous pouvez utiliser un autre composant d'entrée afin de charger vos données.

  4. Cliquez-droit sur le tMap pour ouvrir le menu contextuel et sélectionnez Row > *New output* pour le relier au tPaloDimension. Nommez ce lien out1 dans la boîte de dialogue qui s'ouvre.

Paramétrer la connexion à une base de données

  1. Double-cliquez sur le composant tPaloCube afin d'ouvrir sa vue Component.

  2. Dans le champ Host name, saisissez le nom de l'hôte ou l'adresse IP du serveur hôte, localhost dans cet exemple.

  3. Dans le champ Server Port, saisissez le numéro du port d'écoute du serveur Palo. Dans ce scénario, le numéro est 7777.

  4. Dans les champs Username (identifiant) et Password (mot de passe), saisissez les informations d'authentification. Dans cet exemple, les deux sont admin.

Configurer le composant Input

  1. Double-cliquez sur le tRowGenerator pour ouvrir son éditeur.

  2. Dans la partie supérieure de l'éditeur, cliquez sur le bouton [+] pour ajouter une colonne, et renommez-la random_date dans la colonne Column.

  3. Dans la ligne nouvellement ajoutée, sélectionnez Date pour la colonne Type, et getRandomDate dans la colonne Functions.

  4. Dans la vue Function parameters de la partie inférieure de l'éditeur, saisissez les nouvelles valeurs des dates minimum et maximum de la colonne Value. Dans cet exemple, le minimum est 2010-01-01, le maximum est 2010-12-31.

  5. Cliquez sur OK afin de valider vos modifications et fermer l'éditeur.

  6. Dans la boîte de dialogue qui s'ouvre, cliquez sur OK pour propager les modifications.

Configurer le tMap editor

  1. Double-cliquez sur le tMap afin d'ouvrir son éditeur.

  2. Dans la vue Schema editor de la partie inférieure de la fenêtre, sous la table out1, cliquez sur le bouton [+] afin d'ajouter trois lignes.

  3. Dans la colonne Column de la table out1 saisissez de nouveaux noms pour les trois lignes ajoutées, Year, Month et Date (année, mois et date). Ces lignes sont ajoutées automatiquement à la table out1 dans la partie inférieure du tMap editor.

  4. Dans la table out1 de la partie supérieure de l'éditeur, cliquez sur la colonne Expression de la ligne Year.

  5. Appuyez sur les touches Ctrl+Espace afin d'ouvrir la liste d'auto-complétion.

  6. Double-cliquez sur TalendDate.formatDate pour la sélectionner. L'expression pour obtenir la date s'affiche dans la ligne Year. L'expression est la suivante :

    TalendDate.formatDate("yyyy-MM-dd HH:mm:ss",myDate).

  7. Remplacez l'expression par défaut par TalendDate.formatDate("yyyy",row1.random_date).

  8. Répétez l'opération pour les lignes Month et Date pour ajouter l'expression par défaut et remplacez-la respectivement par TalendDate.formatDate("MM",row1.random_date)et par TalendDate.formatDate("dd-MM-yyyy", row1.random_date).

  9. Cliquez sur OK afin de valider cette modification et acceptez la propagation des modifications en cliquant sur OK dans la boîte de dialogue qui s'ouvre.

Configurer le composant tPaloDimension

  1. Dans l'espace de modélisation graphique, double-cliquez sur le tPaloDimension afin d'ouvrir sa vue Component.

  2. Cochez la case Use an existing connection. Le tPaloConnection_1 s'affiche automatiquement dans le champ Connection configuration.

  3. Dans le champ Database, saisissez le nom de la base de données dans laquelle la nouvelle dimension est créée, talendDatabase dans cet exemple.

  4. Dans le champ Dimension, saisissez le nom que vous souhaitez utiliser pour la dimension à créer, Date, par exemple.

  5. Dans le champ Action on dimension, sélectionnez l'action à effectuer. Dans ce scénario, sélectionnez Create dimension if not exist.

  6. Sélectionnez la case Create dimension elements.

  7. Dans la zone Consolidation Type, sélectionnez le bouton Normal.

  8. Sous le tableau de la hiérarchie des éléments, cliquez trois fois sur le bouton [+] pour ajouter trois lignes au tableau.

  9. Dans la colonne Input column du tableau, sélectionnez Year dans la liste déroulante de la première ligne, Month dans la deuxième et Date dans la troisième. Cela détermine le niveau des éléments des différentes colonnes du schéma d'entrée.

Exécuter le Job

Appuyez sur F6 pour exécuter le Job.

Une nouvelle dimension a été créée dans la base de données Palo talendDatabase.