tGSGet - 6.1

Composants Talend Open Studio Guide de référence

EnrichVersion
6.1
EnrichProdName
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for Data Quality
Talend Open Studio for ESB
Talend Open Studio for MDM
task
Création et développement
Gouvernance de données
Qualité et préparation de données
EnrichPlatform
Studio Talend

tGSGet properties

Famille du composant

Big Data / Google Cloud Storage

 

Fonction

Le composant tGSGet récupère les objets qui correspondent aux critères définis dans Google Cloud Storage et les envoie vers un dossier local.

Objectif

Ce composant permet de télécharger des fichiers depuis Google Cloud Storage vers un dossier local.

Basic settings

Use an existing connection

Cochez cette case et sélectionnez le composant adéquat dans la liste Component List pour réutiliser les paramètres d'une connexion que vous avez déjà définie.

 

Access Key et Secret Key

Saisissez les informations d'authentification obtenues de Google afin d'effectuer des requêtes sur Google Cloud Storage.

Ces clés peuvent être consultées dans la vue Interoperable Access, sous l'onglet Google Cloud Storage du projet dans la console d'API de Google.

Pour saisir la clé secrète, cliquez sur le bouton [...] à côté du champ Secret key, puis, dans la boîte de dialogue qui s'ouvre, saisissez le mot de passe entre guillemets doubles puis cliquez sur OK afin de sauvegarder les paramètres.

Pour plus d'informations sur la clé d'accès et la clé secrète, rendez-vous sur https://developers.google.com/storage/docs/reference/v1/getting-startedv1?hl=en/ (en anglais) et consultez la description des clés développeur.

Avertissement

Les champs Access Key et Secret Key ne sont disponibles que si la case Use an existing connection n'est pas cochée.

 

Key prefix

Saisissez le préfixe afin de télécharger uniquement les objets dont les clés commencent par le préfixe défini.

 Delimiter

Saisissez le séparateur afin de télécharger uniquement les objets avec des noms jusqu'à ce séparateur.

 

Specify project ID

Cochez cette case et, dans le champ Project ID, saisissez l'identification du projet dont vous voulez obtenir des objets.

 

Use keys

Cochez cette case et renseignez la table Keys afin de définir les critères pour les objets à télécharger depuis Google Cloud Storage.

  • Bucket name : saisissez le nom du bucket à partir duquel vous souhaitez télécharger des objets.

  • Key : saisissez la clé de l'objet à télécharger.

  • New name : saisissez un nouveau nom pour l'objet à télécharger.

Avertissement

Si vous cochez la case Use keys, les champs Key prefix et Delimiter, ainsi que les cases Specify project ID et Get files from bucket list ne sont pas disponibles.

 

Get files from bucket list

Cochez cette case et renseignez la table Bucket afin de définir les critères pour les objets à télécharger depuis Google Cloud Storage.

  • Bucket name : saisissez le nom du bucket à partir duquel vous souhaitez télécharger des objets.

  • Key prefix : saisissez le préfixe pour télécharger des objets dont les clés commencent par le préfixe spécifié dans le bucket défini.

  • Delimiter : saisissez le séparateur afin de télécharger les objets avec des noms jusqu'à ce séparateur depuis le bucket défini.

Avertissement

Si vous cochez la case Get files from bucket list, les champs Key prefix et Delimiter, ainsi que les cases Specify project ID et Use keys ne sont pas disponibles.

 

Output directory

Spécifiez le dossier dans lequel vous souhaitez stocker les objets téléchargés.

 

Die on error

Cette case est décochée par défaut, afin d'ignorer les lignes en erreur et de terminer le traitement avec les lignes sans erreur.

Advanced settings

tStatCatcher Statistics

Cochez cette case pour collecter les données de log au niveau du Job ainsi qu'au niveau de chaque composant.

Global Variables

NB_LINE : nombre de lignes lues par un composant d'entrée ou passées à un composant de sortie. Cette variable est une variable After et retourne un entier.

ERROR_MESSAGE : message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères. Cette variable fonctionne uniquement si la case Die on error est décochée, si le composant a cette option.

Une variable Flow fonctionne durant l'exécution d'un composant. Une variable After fonctionne après l'exécution d'un composant.

Pour renseigner un champ ou une expression à l'aide d'une variable, appuyez sur les touches Ctrl+Espace pour accéder à la liste des variables. A partir de cette liste, vous pouvez choisir la variable que vous souhaitez utiliser.

Pour plus d'informations concernant les variables, consultez le Guide utilisateur du Studio Talend.

Utilisation

Ce composant est généralement utilisé avec d'autres composants Google Cloud Storage, par exemple le tGSPut.

Log4j

Si vous utilisez une solution Talend soumise à souscription, l'activité de ce composant peut être journalisée avec la fonctionnalité log4j. Pour plus d'informations sur cette fonctionnalité, consultez le Guide utilisateur du Studio Talend.

Pour plus d'informations sur les niveaux de logs du log4j, consultez la documentation d'Apache : http://logging.apache.org/log4j/1.2/apidocs/org/apache/log4j/Level.html (en anglais).

Limitation

n/a

Scénario associé

Aucun scénario n'est disponible pour ce composant.