tCouchbaseInput - 6.1

Composants Talend Guide de référence

EnrichVersion
6.1
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for Data Quality
Talend Open Studio for ESB
Talend Open Studio for MDM
Talend Real-Time Big Data Platform
task
Création et développement
Gouvernance de données
Qualité et préparation de données
EnrichPlatform
Studio Talend

Avertissement

Ce composant est disponible dans la Palette du Studio Talend si vous avez souscrit à l'une des solutions Big Data de Talend.

Propriétés du tCouchbaseInput

Famille du composant

Big Data / Databases

 

Fonction

Le composant tCouchbaseInput vous permet de récupérer vos documents de la base de données Couchbase, soit par clé unique, soit par les vues.

Objectif

Ce composant vous permet d'interroger des documents dans une base de données Couchbase.

Basic settings

Schema et Edit Schema

Un schéma est une description de lignes, il définit le nombre de champs (colonnes) qui sont traités et passés au composant suivant. Le schéma est soit local (Built-In), soit distant dans le Repository.

Depuis la version 5.6, les modes Built-In et Repository sont disponibles dans toutes les solutions de Talend.

Cliquez sur Edit schema pour modifier le schéma. Si le schéma est en mode Repository, trois options sont disponibles :

  • View schema : sélectionnez cette option afin de voir le schéma.

  • Change to Built-In property : sélectionnez cette option pour passer le schéma en mode Built-In et effectuer des modifications locales.

  • Update repository connection : sélectionnez cette option afin de modifier le schéma stocké dans le référentiel et décider de propager ou non les modifications à tous les Jobs. Si vous souhaitez propager les modifications uniquement au Job courant, sélectionnez No et sélectionnez à nouveau la métadonnée du schéma dans la fenêtre [Repository Content].

 

Use existing connection

Cochez cette case et sélectionnez le composant de connexion adéquat à partir de la liste Component List pour réutiliser les paramètres d'une connexion que vous avez déjà définie.

 

DB Version

Liste des versions de la base de données.

 

Data Bucket

Nom du bucket de données dans la base de données Couchbase.

 

Username et Password

Saisissez vos informations de connexion à un bucket de données.

Pour saisir le mot de passe, cliquez sur le bouton [...] à côté du champ Password, puis, dans la boîte de dialogue qui s'ouvre, saisissez le mot de passe entre guillemets doubles, puis cliquez sur OK afin de sauvegarder les paramètres.

 

URIs

Cliquez sur le bouton [+] autant de fois que nécessaire pour ajouter des lignes dans la table URIs. Saisissez l'URI des nœuds de serveur dans le cluster Couchbase, au format "http://127.0.0.1:8091/pools" ou "http://localhost:8091/pools".

View

Key

(non disponible en mode Query by view)

Saisissez l'ID des documents stockés dans la base de données Couchbase, par exemple "1", "2" ou "Integration at any scale".

 Query by view

 Query by view

Cochez cette case pour voir les informations des documents, selon les fonctions Map/Reduce et d'autres paramètres.

Note

Lorsque cette case est cochée, le schéma contient trois champs prédéfinis, Id, Key et Value.

Id contient l'ID du document, Key contient les informations spécifiées par la clé key de la fonction Map et Value contient les informations spécifiées par la valeur value de la fonction Map.

 

Design document

Nom du document Design en mode Query by view.

Note

  • Ce document apparaît dans la zone Production Views, sous l'onglet View de la console Web Couchbase.

  • Différentes vues peuvent être créées pour chaque document Design.

Doc action

Les actions ci-dessous sont disponibles :

None : aucune action n'est effectuée sur le document spécifié dans le champ Design document.

Create : crée le document spécifié dans le champ Design document.

Drop and Create : supprime et crée le document spécifié dans le champ Design document.

 

View

Saisissez le nom de la vue pour extraire les informations du document.

View action

Les actions ci-dessous sont disponibles :

Create : crée la vue spécifiée dans le champ View.

 

Map

Saisissez le code de la fonction Map.

Disponible lorsque l'action Create est sélectionnée dans la liste View action.

 

Reduce

Saisissez le code de la fonction Reduce.

Disponible lorsque l'action Create est sélectionnée dans la liste View action.

 

Startkey

Saisissez la clé de début d'une plage de clés.

 

Endkey

Saisissez le clé de fin d'une plage de clés.

 

Startkey docid

Saisissez l'ID du document de début d'une plage Docid.

 

Endkey docid

Saisissez l'ID du document de fin d'une plage Docid.

 

Use complex key

Cochez cette case pour afficher le champ Complexkey, dans lequel vous pouvez saisir les clés complexes pour les requêtes de vues.

Notez que les clés, ici, font référence aux valeurs des clés définies dans la fonction.

 

Key

(in the Query by view mode)

Saisissez les valeurs de la clé définie dans la fonction Map.

Cette option est indisponible lorsque la case Use complex key est cochée, en mode Query by view.

 

Include docs

Cochez cette case pour inclure le document spécifié par la clé dans les résultats de la vue.

Notez que le champ JSONDoc apparaît dans le schéma lorsque cette case est cochée.

 

Inclusive end

Cochez cette case pour inclure dans les résultats la clé de fin spécifiée.

 

Descending

Retourne les documents en ordre descendant, par clé.

 

Stale

Permet aux résultats d'une vue Stale à utiliser.

false : force la mise à jour d'une vue avant de retourner les données.

ok : permet l'utilisation des vues Stale.

update_after : permet l'utilisation des vues Stale et Update après accès.

 

Limit

Saisissez le nombre maximal de documents à retourner.

 

Skip

Saisissez le nombre d'enregistrements à ignorer avant de commencer à retourner les résultats.

JSON Configuration

Extract JSON field

Cochez cette case pour extraire des données d'un champ JSON.

 

JSON field

Liste des champs JSON pour l'extraction de données.

 

Loop XPath query

Saisissez la requête XPath afin de spécifier le nœud de boucle des données JSON.

 

Mapping

Schema output column : colonnes de sortie contenant les données JSON extraites.

XPath Query : spécifiez le nœud JSON contenant les données souhaitées.

Get nodes : cochez cette case pour extraire les données JSON de tous les nœuds spécifiés dans la liste XPath query ou sélectionnez la case à côté d'un nœud spécifique pour extraire ses données JSON uniquement.

 

Die on error

La case est décochée par défaut. Décochez la case afin d'ignorer la ligne d'erreur et finir le processus de lignes sans erreur.

Advanced settings

Debug

Ecrit en sortie les informations de débogage.

Cette case est disponible en mode Query by view.

 

tStatCatcher Statistics

Cochez cette case pour collecter les données de log au niveau du composant.

Global Variables

NB_LINE : nombre de lignes lues par un composant d'entrée ou passées à un composant de sortie. Cette variable est une variable After et retourne un entier.

ERROR_MESSAGE : message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères. Cette variable fonctionne uniquement si la case Die on error est décochée, si le composant a cette option.

Une variable Flow fonctionne durant l'exécution d'un composant. Une variable After fonctionne après l'exécution d'un composant.

Pour renseigner un champ ou une expression à l'aide d'une variable, appuyez sur les touches Ctrl+Espace pour accéder à la liste des variables. A partir de cette liste, vous pouvez choisir la variable que vous souhaitez utiliser.

Pour plus d'informations concernant les variables, consultez le Guide utilisateur du Studio Talend.

Utilisation

Le tCouchbaseInput est un composant de début et lit des documents de la base de données Couchbase, soit par clé unique, soit via des vues.

Log4j

Si vous utilisez une solution Talend soumise à souscription, l'activité de ce composant peut être journalisée avec la fonctionnalité log4j. Pour plus d'informations sur cette fonctionnalité, consultez le Guide utilisateur du Studio Talend.

Pour plus d'informations sur les niveaux de logs du log4j, consultez la documentation d'Apache : http://logging.apache.org/log4j/1.2/apidocs/org/apache/log4j/Level.html (en anglais).

Scénario 1 : Effectuer une requête sur des documents JSON dans la base de données Couchbase selon les IDs uniques des documents

Ce scénario interroge des documents JSON dans la base de données Couchbase, selon l'ID unique des documents. Utilisez l'ID des documents comme clé pour envoyer une requête aux documents contenant des données JSON. Les documents dans la base de données Couchbase sont affichés comme suit :

Pour plus d'informations concernant l'écriture de ces documents dans la base de données, consultez Scénario : Insérer des documents dans un bucket de données dans la base de données Couchbase.

Relier les composants

  1. Déposez un tCouchbaseConnection, un tCouchbaseInput, un tCouchbaseClose et un tLogRow dans l'espace de modélisation graphique.

  2. Reliez le tCouchbaseConnection au tCouchbaseInput à l'aide d'un lien OnSubjobOk.

  3. Reliez le tCouchbaseInput au tLogRow à l'aide d'un lien Row > Main.

  4. Connectez le tCouchbaseInput au tCouchbaseClose à l'aide d'un lien OnSubjobOk.

Configurer les composants

  1. Double-cliquez sur le tCouchbaseConnection pour ouvrir sa vue Basic settings.

  2. Dans le champ Data Bucket, saisissez le nom du bucket de données dans la base de données Couchbase.

  3. Dans le champ Password, saisissez le mot de passer pour accéder au bucket de données.

  4. Dans la table URIs, cliquez sur le bouton [+] pour ajouter autant de lignes que nécessaire et saisissez l'URI des nœuds de serveur Couchbase.

  5. Double-cliquez sur le tCouchbaseInput pour ouvrir sa vue Basic settings.

  6. Cochez la case Use existing connection pour réutiliser la connexion.

  7. Dans le champ Key, saisissez l'ID du document, par exemple "ELT Overview", "Integration at any scale".

  8. Cliquez sur le bouton Edit schema pour ouvrir l'éditeur de schéma. Le schéma contient deux champs prédéfinis, Key et Value.

  9. Double-cliquez sur le tLogRow pour ouvrir sa vue Basic settings.

  10. Sélectionnez l'option Table (print values in cells of a table pour un affichage optimisé des résultats.

Exécuter le Job

  1. Appuyez sur les touches Ctrl + S pour sauvegarder le Job.

  2. Appuyez sur F6 pour exécuter le Job.

    Comme affiché ci-dessus, les documents JSON contenant les clés (IDs) ELT Overview et Integration at any scale sont récupérés.

Scénario 2 : Effectuer une requête sur des documents JSON dans la base de données Couchbase via des requêtes de vues

Ce scénario interroge des documents JSON via des requêtes de vues. Vous combinez les requêtes de vues et d'autres filtres afin de récupérer les informations de documents. Pour la partie des vues, définissez la fonction Map dans laquelle est spécifiée la clé, dans le champ id des documents. La valeur est spécifiée dans les champs title et contents. Les documents dans la base de données Couchbase s'affichent comme suit :

Pour plus d'informations concernant l'écriture de ces documents dans la base de données, consultez Scénario : Insérer des documents dans un bucket de données dans la base de données Couchbase.

Relier les composants

  1. Déposez un composant tCouchbaseConnection, un tCouchbaseInput, un tCouchbaseClose et un tLogRow dans l'espace de modélisation graphique.

  2. Reliez le tCouchbaseConnection au tCouchbaseInput à l'aide d'un lien OnSubjobOk.

  3. Reliez le tCouchbaseInput au tLogRow à l'aide d'un lien Row > Main.

  4. Reliez le tCouchbaseInput au tCouchbaseClose, à l'aide d'un lien OnSubjobOk.

Configurer les composants

  1. Double-cliquez sur le tCouchbaseConnection pour ouvrir sa vue Basic settings.

  2. Dans le champ Data Bucket, saisissez le nom du bucket de données dans la base de données Couchbase.

  3. Dans le champ Password, saisissez le mot de passe pour accéder au bucket de données.

  4. Dans la table URIs, cliquez sur le bouton [+] pour ajouter autant de lignes que nécessaire et saisissez l'URI des nœuds de serveur Couchbase.

  5. Double-cliquez sur le tCouchbaseInput pour ouvrir sa vue Basic settings.

  6. Cochez la case Use existing connection pour réutiliser la connexion.

  7. Cochez la case Query by view afin de définir les fonctions des vues et définir d'autres filtres.

  8. Dans le champ Design document, saisissez le nom du document Design de la vue.

    Dans la liste Doc action, sélectionnez Drop create afin de supprimer un document Design existant et le créer à nouveau.

    Dans le champ View, saisissez le nom de la vue.

    Dans la liste View action, sélectionnez Create pour créer la vue.

  9. Dans le champ Map, saisissez la fonction Map :

    "function (doc, meta) {emit(doc.id, [doc.title,doc.contents]);}"

    Ici, la clé est doc.id, le champ id des documents JSON et la valeur [doc.title,doc.contents], les champs title et contents des documents JSON.

  10. Cliquez sur le bouton Edit schema pour ouvrir l'éditeur de schéma. Le schéma contient quatre champs prédéfinis, Id, Key, Value et jsonDoc.

    Dans ce scénario, Id contient l'ID du document, Key contient le champ id des documents JSON, Value contient les champs title et contents des documents JSON et jsonDoc contient les documents JSON entiers.

  11. Cochez la case Include docs pour récupérer les documents entiers.

  12. Double-cliquez sur le tLogRow pour ouvrir sa vue Basic settings.

  13. Sélectionnez l'option Table (print values in cells of a table pour un affichage optimal des résultats.

Exécuter le Job

  1. Appuyez sur les touches Ctrl + S pour sauvegarder le Job.

  2. Appuyez sur F6 pour exécuter le Job.

  3. Allez dans la console Web Couchbase et vérifiez la vue créée :

    Comme affiché ci-dessus, la vue est créée et les informations des documents sont bien récupérées.