tRiakInput - 6.3

Composants Talend Guide de référence

EnrichVersion
6.3
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for Data Quality
Talend Open Studio for ESB
Talend Open Studio for MDM
Talend Real-Time Big Data Platform
task
Création et développement
Gouvernance de données
Qualité et préparation de données
EnrichPlatform
Studio Talend

Avertissement

Ce composant est disponible dans la Palette du Studio si vous avez souscrit à l'une des solutions Big Data de Talend.

Fonction

Le composant tRiakInput lit les données depuis un bucket Riak et les envoie dans le flux Talend.

Objectif

Ce composant permet d'extraire les données souhaitées d'un bucket d'un nœud Riak afin de les stocker ou d'y apporter des changements.

Propriétés du tRiakInput

Famille du composant

Big Data / Riak

 

Basic settings

Schema et Edit Schema

Un schéma est une description de lignes, il définit le nombre de champs (colonnes) qui sont traités et passés au composant suivant. Le schéma est soit local (Built-In), soit distant dans le Repository.

Depuis la version 5.6, les modes Built-In et Repository sont disponibles dans toutes les solutions de Talend.

Cliquez sur Edit schema pour modifier le schéma. Si le schéma est en mode Repository, trois options sont disponibles :

  • View schema : sélectionnez cette option afin de voir le schéma.

  • Change to Built-In property : sélectionnez cette option pour passer le schéma en mode Built-In et effectuer des modifications locales.

  • Update repository connection : sélectionnez cette option afin de modifier le schéma stocké dans le référentiel et décider de propager ou non les modifications à tous les Jobs. Si vous souhaitez propager les modifications uniquement au Job courant, cliquez sur No et sélectionnez à nouveau la métadonnée du schéma dans la fenêtre [Repository Content].

 

Use existing connection

Cochez cette case et sélectionnez le composant de connexion adéquat à partir de la liste Component List pour réutiliser les paramètres d'une connexion que vous avez déjà définie.

Avertissement

Si vous cochez la case Use an existing connection, la table Nodes n'est pas disponible.

 

Nodes

Saisissez les informations requises pour une connexion au cluster Riak.

  • Host : saisissez l'adresse IP ou le nom d'hôte d'un nœud Riak du cluster Riak auquel vous souhaitez vous connecter.

  • Port : saisissez le numéro du port d'écoute du nœud Riak. Vous pouvez laisser ce champ vide afin d'utiliser sa valeur par défaut, 8098.

  • Riak path : saisissez le chemin d'accès Riak au nœud Riak. Vous pouvez laisser ce champ vide afin d'utiliser sa valeur par défaut, riak.

L'URL d'accès au nœud Riak peut être, par exemple, http://127.0.0.1:8098/riak.

Pour plus d'informations sur les concepts liés à Riak, consultez la page http://docs.basho.com/riak/latest/theory/concepts/ (en anglais).

 

Bucket

Saisissez le nom du bucket dont vous souhaitez lire les données.

 

Key

Saisissez la clé associée aux données que vous souhaitez lire.

 

Output key to column

Cochez cette case et sélectionnez dans la liste la colonne vers laquelle sont envoyées les données.

 

Values column

Personnalisez les colonnes vers lesquelles les données sont envoyées.

Advanced settings

tStatCatcher Statistics

Cochez cette case pour collecter les données de log au niveau du Job ainsi qu'au niveau de chaque composant.

Global Variables

NB_LINE : nombre de lignes lues par un composant d'entrée ou passées à un composant de sortie. Cette variable est une variable After et retourne un entier.

ERROR_MESSAGE : message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères. Cette variable fonctionne uniquement si la case Die on error est décochée, si le composant a cette option.

Une variable Flow fonctionne durant l'exécution d'un composant. Une variable After fonctionne après l'exécution d'un composant.

Pour renseigner un champ ou une expression à l'aide d'une variable, appuyez sur les touches Ctrl+Espace pour accéder à la liste des variables. A partir de cette liste, vous pouvez choisir la variable que vous souhaitez utiliser.

Pour plus d'informations concernant les variables, consultez le Guide utilisateur du Studio Talend.

Utilisation

Ce composant nécessite un lien de sortie.

Log4j

Si vous utilisez une solution Talend soumise à souscription, l'activité de ce composant peut être journalisée avec la fonctionnalité log4j. Pour plus d'informations sur cette fonctionnalité, consultez le Guide utilisateur du Studio Talend.

Pour plus d'informations sur les niveaux de logs du log4j, consultez la documentation d'Apache : http://logging.apache.org/log4j/1.2/apidocs/org/apache/log4j/Level.html (en anglais).

Limitation

n/a

Scénario : Exporter des données depuis un bucket Riak vers un fichier local

Le scénario suivant permet de créer un Job lisant des données depuis un bucket Riak et les écrivant dans un fichier txt local.

Prérequis : Le bucket Riak depuis lequel vous souhaitez exporter des données doit exister. Dans cet exemple, les données du bucket computer sont exportées et ce bucket a déjà importé les données suivantes :

id; company; brand; price; owner
001; Dell; Inspiron 15; 299; Amanda
002; Dell; Inspiron 15R; 549; Linda
003; HP; Pavilion 500-210qe; 539; Marina
004; HP; Pavilion 500-075; 599; Diana

Déposer et relier les composants

  1. Déposez les composants suivants de la Palette dans l'espace de modélisation graphique : un tRiakConnection, un tRiakInput, un tFileOutputDelimited et un tRiakClose.

  2. Reliez le tRiakConnection au tRiakInput à l'aide d'un lien Trigger > On Subjob Ok.

  3. Reliez le tRiakInput au tFileOutputDelimited à l'aide d'un lien Row > Main.

  4. Reliez le tFileOutputDelimited au tRiakClose à l'aide d'un lien Trigger > On Component Ok.

Configurer les composants

Ouvrir une connexion à Riak

  1. Double-cliquez sur le tRiakConnection afin d'ouvrir sa vue Basic settings dans l'onglet Component.

  2. Dans la table Nodes, saisissez les informations du cluster Riak auquel vous souhaitez vous connecter.

Exporter les données depuis un bucket Riak vers un fichier local

  1. Double-cliquez sur le tRiakInput afin d'ouvrir sa vue Basic settings dans l'onglet Component.

  2. Cliquez sur Edit schema afin de définir la structure des données exportées. Dans cet exemple, trois colonnes sont définies : id, company et price.

  3. Cochez la case Use an existing connection puis sélectionnez la connexion que vous avez configurée précédemment, tRiakConnection_1 dans cet exemple.

  4. Dans le champ Bucket, saisissez un nom pour le bucket à partir duquel vous souhaitez exporter les données, computer dans cet exemple.

  5. Cochez la case Output key to column puis sélectionnez la colonne souhaitée dans la liste, id dans cet exemple.

  6. Dans la table Value columns, cliquez deux fois sur le bouton et sélectionnez company et price dans la liste respectivement.

Ecrire les données dans un fichier local

  1. Double-cliquez sur le tFileOutputDelimited afin d'ouvrir sa vue Basic settings dans l'onglet Component.

  2. Dans le champ File Name, saisissez le chemin complet vers le fichier local dans lequel vous souhaitez stocker les données exportées, D:/Output/computer.txt dans cet exemple.

  3. Cochez la case Include Header.

  4. Laissez les autres paramètres tels qu'ils sont.

Fermer la connexion à Riak

  1. Double-cliquez sur le tRiakClose afin d'ouvrir sa vue Basic settings dans l'onglet Component.

  2. Dans la liste Component List, sélectionnez la connexion que vous souhaitez fermer, tRiakConnection_1 dans cet exemple.

Sauvegarder et exécuter le Job

  1. Appuyez sur Ctrl+S pour sauvegarder votre Job.

  2. Appuyez sur F6 ou cliquez sur le bouton Run dans l'onglet Run afin d'exécuter le Job.

  3. Parcourez votre système vers le dossier local contenant le fichier et vérifiez qu'il contient les données exportées depuis le bucket Riak.