tCouchbaseOutput - 6.1

Composants Talend Guide de référence

EnrichVersion
6.1
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for Data Quality
Talend Open Studio for ESB
Talend Open Studio for MDM
Talend Real-Time Big Data Platform
task
Création et développement
Gouvernance de données
Qualité et préparation de données
EnrichPlatform
Studio Talend

Avertissement

Ce composant est disponible dans la Palette du Studio Talend si vous avez souscrit à l'une des solutions Big Data de Talend.

Propriétés du tCouchbaseOutput

Famille du composant

Big Data / Databases

 

Fonction

Le composant tCouchbaseOutput insère, met à jour, insère et met à jour ou supprime les documents dans la base de données Couchbase, stockés sous forme de paire clé/valeur, où la valeur peut être des données JSON ou binaires.

Objectif

Ce composant vous permet d'effectuer des actions sur des documents JSON ou binaires stockés dans la base de données Couchbase selon les données plates entrantes provenant d'un fichier, d'une table de base de données, etc.

Basic settings

Schema et Edit Schema

Un schéma est une description de lignes, il définit le nombre de champs (colonnes) qui sont traités et passés au composant suivant. Le schéma est soit local (Built-In), soit distant dans le Repository.

Depuis la version 5.6, les modes Built-In et Repository sont disponibles dans toutes les solutions de Talend.

Cliquez sur Edit schema pour modifier le schéma. Si le schéma est en mode Repository, trois options sont disponibles :

  • View schema : sélectionnez cette option afin de voir le schéma.

  • Change to Built-In property : sélectionnez cette option pour passer le schéma en mode Built-In et effectuer des modifications locales.

  • Update repository connection : sélectionnez cette option afin de modifier le schéma stocké dans le référentiel et décider de propager ou non les modifications à tous les Jobs. Si vous souhaitez propager les modifications uniquement au Job courant, sélectionnez No et sélectionnez à nouveau la métadonnée du schéma dans la fenêtre [Repository Content].

Cliquez sur le bouton Sync columns pour récupérer le schéma du composant précédent.

 

 

Built-In : Le schéma est créé et conservé ponctuellement pour ce composant seulement. Voir également le Guide utilisateur du Studio Talend.

 

 

Repository : Le schéma existe déjà et il est stocké dans le Repository. Ainsi, il peut être réutilisé. Voir également le Guide utilisateur du Studio Talend.

Lorsque le schéma à réutiliser contient des valeurs par défaut, qui sont des entiers (integer) ou des fonctions (function), assurez-vous que les valeurs par défaut ne sont pas entourées de guillemets. Si c'est le cas, vous devez supprimer manuellement les guillemets.

Pour plus d'informations, consultez https://help.talend.com/display/KB/Verifying+default+values+in+a+retrieved+schema (en anglais).

 

Use existing connection

Cochez cette case et sélectionnez le composant de connexion adéquat à partir de la liste Component List pour réutiliser les paramètres d'une connexion que vous avez déjà définie.

 

DB Version

Sélectionnez dans la liste la version de la base de données que vous utilisez.

 

Data Bucket

Saisissez le nom du bucket de données dans la base de données Couchbase.

 

Username et Password

Saisissez vos informations de connexion à un bucket de données.

Pour saisir le mot de passe, cliquez sur le bouton [...] à côté du champ Password, puis, dans la boîte de dialogue qui s'ouvre, saisissez le mot de passe entre guillemets doubles, puis cliquez sur OK afin de sauvegarder les paramètres.

 

URIs

Cliquez sur le bouton [+] autant de fois que nécessaire pour ajouter des lignes dans la table URIs. Saisissez l'URI des nœuds de serveur dans le cluster Couchbase, au format "http://127.0.0.1:8091/pools" ou "http://localhost:8091/pools".

 

Key

Champ du schéma dont le contenu sera utilisé en tant qu'ID d'un document dans la base de données Couchbase.

 

Value

Champ du schéma dont le contenu sera sauvegardé dans la base de données Couchbase en tant que documents binaires.

L'option est disponible lorsque Include JSON Document n'est pas sélectionné.

 

Action on data

Les opérations suivantes sont disponibles :

Insert : insérer des données.

Update : mettre à jour des données.

Insert or Update : insérer ou mettre à jour des données.

Delete : supprimer des données.

Include JSON Document

Cochez cette case pour la configuration JSON :

Configure JSON Tree : Cliquez sur le bouton [...] pour ouvrir l'interface de configuration de l'arborescence JSON. Pour plus d'informations, consultez Configurer une arborescence JSON.

Group by : Cliquez sur le bouton [+] afin d'ajouter des lignes et sélectionner les colonnes d'entrée pour grouper les enregistrements.

 

Die on error

Cette case est décochée par défaut, afin d'ignorer les lignes en erreur et de terminer le traitement avec les lignes sans erreur.

Advanced settings

Expire

Valeur d'expiration d'un document. Par défaut, ce champ est paramétré à 0, cela signifie que le document est stocké indéfiniment.

Le délai d'expiration peut être une durée relative (comme 60 secondes) ou une durée absolue (31 décembre 2020, 12:00pm).

 

tStatCatcher Statistics

Cochez cette case pour collecter les données de log au niveau du composant.

Global Variables

NB_LINE : nombre de lignes lues par un composant d'entrée ou passées à un composant de sortie. Cette variable est une variable After et retourne un entier.

NB_LINE_INSERTED : nombre de lignes insérées. Cette variable est une variable After et retourne un entier.

NB_LINE_REJECTED : nombre de lignes rejetées. Cette variable est une variable After et retourne un entier.

ERROR_MESSAGE : message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères. Cette variable fonctionne uniquement si la case Die on error est décochée, si le composant a cette option.

Une variable Flow fonctionne durant l'exécution d'un composant. Une variable After fonctionne après l'exécution d'un composant.

Pour renseigner un champ ou une expression à l'aide d'une variable, appuyez sur les touches Ctrl+Espace pour accéder à la liste des variables. A partir de cette liste, vous pouvez choisir la variable que vous souhaitez utiliser.

Pour plus d'informations concernant les variables, consultez le Guide utilisateur du Studio Talend.

Utilisation

Précédé par un composant d'entrée, le tCouchbaseOutput écrit des données plates dans des documents JSON afin de les stocker dans une base de données Couchbase.

Log4j

Si vous utilisez une solution Talend soumise à souscription, l'activité de ce composant peut être journalisée avec la fonctionnalité log4j. Pour plus d'informations sur cette fonctionnalité, consultez le Guide utilisateur du Studio Talend.

Pour plus d'informations sur les niveaux de logs du log4j, consultez la documentation d'Apache : http://logging.apache.org/log4j/1.2/apidocs/org/apache/log4j/Level.html (en anglais).

Scénario : Insérer des documents dans un bucket de données dans la base de données Couchbase

Ce scénario insère trois posts de blog dans un bucket de données dans la base de données Couchbase. Les enregistrements source sont des données plates et sont donc dans des données JSON avant stockage dans la base de données Couchbase, en tant que documents. Notez que les valeurs du champ de données source title, sélectionné en tant que Key dans l'onglet Basic settings du tCouchbaseOutput, sont utilisées en tant qu'IDs du document dans la base de données Couchbase.

Relier les composants

  1. Déposez un tCouchbaseConnection, un tFixedFlowInput, un tCouchbaseOutput et un tCouchbaseClose dans l'espace de modélisation.

  2. Reliez le tCouchbaseConnection au tFixedFlowInput à l'aide d'un lien OnSubjobOk.

  3. Reliez le tFixedFlowInput au tCouchbaseOutput à l'aide d'un lien Row > Main.

  4. Reliez le tFixedFlowInput au tCouchbaseClose à l'aide d'un lien OnSubjobOk.

Configurer les composants

  1. Double-cliquez sur le tCouchbaseConnection pour ouvrir sa vue Basic settings.

  2. Dans le champ Data Bucket, saisissez le nom du bucket de données dans la base de données Couchbase.

    Dans le champ Password, saisissez le mot de passe pour accéder au bucket de données.

    Dans la table URIs, cliquez sur le bouton [+] pour ajouter autant de lignes que nécessaire, dans lesquelles vous pouvez saisir les URIs des nœuds du serveur Couchbase.

  3. Double-cliquez sur le tFixedFlowInput pour ouvrir sa vue Basic settings.

    Sélectionnez Use Inline Content (delimited file) dans la zone Mode.

    Dans le champ Content, saisissez les données à écrire dans la base de données Couchbase, par exemple :

    1;Andy;Integration at any scale;Talend, the leader of the DI space...
    2;Andy;Data Integration Overview;Talend, the leading player in the DI field...
    3;Andy;ELT Overview;Talend, the big name in the ELT circle...
  4. Cliquez sur le bouton Edit schema pour ouvrir l'éditeur de schéma.

  5. Cliquez quatre fois sur le bouton [+] pour ajouter quatre colonnes, respectivement nommées id, author, title et contents, toutes de type String.

    Cliquez sur OK pour valider la configuration et fermer l'éditeur.

  6. Cliquez sur le tCouchbaseOutput pour ouvrir sa vue Basic settings.

  7. Cochez la case Use existing connection afin de réutiliser la connexion.

  8. Dans la liste Key, sélectionnez le champ title dont les valeurs seront utilisées comme IDs des documents insérés dans la base de données Couchbase.

  9. Cochez la case Generate JSON Document et cliquez sur le bouton Configure JSON Tree pour ouvrir l'éditeur de mapping JSON.

  10. Appuyez sur la touche Maj pour sélectionner tous les champs dans la zone Linker source et déposez-les dans le nœud rootTag de la zone Link target.

  11. Dans la boîte de dialogue qui s'ouvre, sélectionnez Create as sub-element of target node.

    Cliquez sur OK afin de valider la configuration et fermer la boîte de dialogue.

  12. Cliquez-droit sur le nœud id de la zone Link target et sélectionnez Set as Loop Element dans le menu contextuel.

    Cliquez sur OK pour valider la configuration et fermer l'éditeur.

Exécuter le Job

  1. Appuyez sur F6 pour sauvegarder le Job et l'exécuter.

  2. Ouvrez votre Console Web Couchbase. Vous pouvez voir les documents stockés dans le bucket de données blog :

    Comme affiché ci-dessus, les enregistrements source sont sauvegardés dans la base de données Couchbase sous forme de documents JSON.