Propriétés du tPigStoreResult - 6.1

Composants Talend Guide de référence

EnrichVersion
6.1
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for Data Quality
Talend Open Studio for ESB
Talend Open Studio for MDM
Talend Real-Time Big Data Platform
task
Création et développement
Gouvernance de données
Qualité et préparation de données
EnrichPlatform
Studio Talend

Famille du composant

Big Data/Hadoop

 

Fonction

Ce composant vous permet de stocker les résultats de votre Job Pig dans un espace de stockage de données défini.

Objectif

Le composant tPigStoreResult est utilisé pour stocker les résultats d'un Job Pig dans un espace de stockage de données.

Basic settings

Property type

Peut être Repository ou Built-in.

L'option Repository vous permet de réutiliser les propriétés de connexion stockées dans le nœud Hadoop cluster du Repository. Une fois sélectionnée, le bouton apparaît. Cliquez dessus afin d'afficher la liste des propriétés stockées et, à partir de cette liste, sélectionnez les propriétés que vous souhaitez utiliser. Les paramètres appropriés sont alors définis automatiquement.

Sinon, si vous sélectionnez l'option Built-in, vous devez paramétrer manuellement chacun des paramètres.

Depuis la version 5.6, les modes Built-In et Repository sont disponibles dans toutes les solutions de Talend.

Schema et Edit Schema

Un schéma est une description de lignes, il définit le nombre de champs (colonnes) qui sont traités et passés au composant suivant. Le schéma est soit local (Built-In), soit distant dans le Repository.

Depuis la version 5.6, les modes Built-In et Repository sont disponibles dans toutes les solutions de Talend.

Cliquez sur Edit schema pour modifier le schéma. Si le schéma est en mode Repository, trois options sont disponibles :

  • View schema : sélectionnez cette option afin de voir le schéma.

  • Change to Built-In property : sélectionnez cette option pour passer le schéma en mode Built-In et effectuer des modifications locales.

  • Update repository connection : sélectionnez cette option afin de modifier le schéma stocké dans le référentiel et décider de propager ou non les modifications à tous les Jobs. Si vous souhaitez propager les modifications uniquement au Job courant, sélectionnez No et sélectionnez à nouveau la métadonnée du schéma dans la fenêtre [Repository Content].

 

 

Built-In : Le schéma est créé et conservé ponctuellement pour ce composant seulement. Voir également le Guide utilisateur du Studio Talend.

 

 

Repository : Le schéma existe déjà et il est stocké dans le Repository. Ainsi, il peut être réutilisé. Voir également le Guide utilisateur du Studio Talend.

 

Use S3 endpoint

Cochez cette case pour écrire des données dans un dossier d'un bucket Amazon S3.

Après avoir coché la case Use S3 endpoint, vous devez renseigner les paramètres suivants dans les champs qui apparaissent :

  • S3 bucket name and folder : saisissez le nom du bucket et celui du dossier dans lequel vous souhaitez écrire les données. Vous devez séparer le nom du bucket et le nom du dossier par une barre oblique (/).

  • Access key et Secret key : renseignez les informations d'authentification requises pour vous connecter au bucket Amazon S3 à utiliser.

    Pour saisir le mot de passe, cliquez sur le bouton [...] à côté du champ Password, puis, dans la boîte de dialogue qui s'ouvre, saisissez le mot de passe entre guillemets doubles, puis cliquez sur OK afin de sauvegarder les paramètres.

Notez que le format du fichier S3 est S3N (S3 Native Filesystem).

 

Result folder URI

Spécifiez le chemin d'accès au fichier de résultat dans lequel les données sont stockées.

 

Remove result directory if exists

Cochez cette case pour supprimer un répertoire de résultats existant.

Note

Cette case est désactivée lorsque vous sélectionnez HCatStorer dans la liste Store function.

 

Store function

Sélectionnez une fonction de stockage pour stocker les données :

  • PigStorage : Stocke les données au format UTF-8.

  • BinStorage : Stocke les données dans un format lisible par les machines.

  • PigDump : Stocke les données en tant que tuples dans un format UTF-8 lisible par l'humain.

  • HCatStorer : Stocke les données dans les tables gérées par HCatalog à l'aide de scripts Pig.

  • HBaseStorage : Stocke les données dans HBase. Vous devez terminer la configuration de HBase dans la zone HBase configuration.

  • SequenceFileStorage : Stocke des données au format SequenceFile. Vous devez terminer la configuration du fichier à stocker dans la zone Sequence Storage Configuration qui s'affiche.

  • RCFilePigStorage : Stocke des données au format RCFile format.

  • AvroStorage : Charge des fichiers Avro. Pour plus d'informations concernant AvroStorage, consultez la documentation Apache sur le site https://cwiki.apache.org/confluence/display/PIG/AvroStorage (en anglais).

  • ParquetStorer : Stocke des fichiers Parquet. Dans la liste Associate tPigLoad component, sélectionnez le composant tPigLoad dans lequel la connexion au cluster MapReduce à utiliser est définie.

    Dans la liste Compression qui apparaît, sélectionnez le mode de compression à utiliser pour gérer le fichier Parquet. Le mode par défaut est Uncompressed.

  • Custom : Stocke les données à l'aide d'une fonction de stockage personnalisée. Pour ce faire, vous devez enregistrer, dans l'onglet Advanced settings, le fichier Jar contenant la fonction à utiliser, puis, dans le champ affiché à côté du champ Store function, spécifier cette fonction.

Notez que, lorsque le format de fichier à utiliser est PARQUET, il est possible qu'il vous soit demandé de trouver le fichier Jar Parquet spécifique et l'installer dans le studio.

  • Lorsque le mode de connexion à Hive est Embedded, le Job est exécuté sur votre machine locale et appelle ce Jar installé dans le studio.

  • Lorsque le mode de connexion à Hive est Standalone, le Job est exécuté sur le serveur hébergeant Hive et ce fichier Jar est envoyé au système HDFS du cluster auquel vous vous connectez. Assurez-vous d'avoir correctement défini l'URI du NameNode dans le champ correspondant de la vue Basic settings.

Ce fichier Jar est téléchargeable depuis le site Web d'Apache. Pour plus d'informations concernant l'installation d'un fichier externe, consultez https://help.talend.com/display/KB/How+to+install+external+modules+in+the+Talend+products (en anglais).

 

HCatalog Configuration

Renseignez les champs suivants pour configurer les tables gérées de HCatalog dans HDFS (système de fichiers distribué Hadoop) :

Distribution et Version :

Sélectionnez la version de la distribution Hadoop correspondant à celle que vous avez définie dans la configuration de connexion du composant tPigLoad. Ce composant est utilisé dans le même process Pig que le tPigStoreResult courant.

Si le composant tPigLoad se connecte à une distribution Hadoop personnalisée, vous devez également sélectionner Custom pour ce composant tPigStoreResult. Ensuite, la table Custom jar apparaît. Dans cette table, vous devez ajouter uniquement les fichiers Jar requis pour la fonction Store function sélectionnée.

HCat metastore : Saisissez l'emplacement du metastore de HCatalog, qui est également le metastore de Hive.

Database : Base de données dans laquelle les tables sont stockées.

Table : Table dans laquelle les données sont stockées.

Partition filter : Renseignez ce champ avec les clés de partitions afin de lister les partitions par filtre.

Note

La zone HCataLog Configuration est activée uniquement lorsque vous sélectionnez HCatStorer dans la liste Store function. Pour plus d'informations concernant l'utilisation de HCatalog, consultez https://cwiki.apache.org/confluence/display/Hive/HCatalog (en anglais). Pour plus d'informations concernant l'utilisation de Partition filter, consultez https://cwiki.apache.org/confluence/display/HCATALOG/Design+Document+-+Java+APIs+for+HCatalog+DDL+Commands (en anglais).

 

HBase configuration

Cette zone est disponible pour la fonction HBaseStorage. Les paramètres à configurer sont :

Distribution et Version :

Sélectionnez la version de la distribution Hadoop correspondant à celle que vous avez définie dans la configuration de connexion du composant tPigLoad. Ce composant est utilisé dans le même process Pig que le tPigStoreResult courant.

Si le composant tPigLoad se connecte à une distribution Hadoop personnalisée, vous devez également sélectionner Custom pour ce composant tPigStoreResult. Ensuite, la table Custom jar apparaît. Dans cette table, vous devez ajouter uniquement les fichiers Jar requis pour la fonction Store function sélectionnée.

Zookeeper quorum :

Saisissez le nom ou l'URL du service Zookeeper utilisé pour coordonner les transactions entre Talend et HBase. Notez que, lorsque vous configurez Zookeeper, vous pouvez avoir besoin de configurer la propriété zookeeper.znode.parent pour définir la racine du chemin relatif d'un fichier HBase Zookeeper puis de sélectionner la case Set Zookeeper znode parent afin de définir cette propriété.

Zookeeper client port :

Saisissez le numéro du port d'écoute client du service Zookeeper que vous utilisez.

Table name :

Saisissez le nom de la table HBase dans laquelle vous souhaitez stocker des données. La table doit exister dans la cible HBase.

Row key column :

Sélectionnez la colonne utilisée comme colonne Row Key de la table HBase.

Store row key column to Hbase column :

Cochez cette case pour que la colonne Row Key soit une colonne HBase appartenant à une famille de colonnes spécifique.

Mapping:

Renseignez cette table afin de mapper les colonnes de la table HBase à utiliser avec les colonnes du schéma défini pour le flux de données à traiter.

La colonne Column de cette table est automatiquement renseignée une fois le schéma défini. La syntaxe de la colonne Column family:qualifier requiert que le nom de chaque colonne HBase (qualifier) soit mis en paire avec le nom de la famille correspondante. Par exemple, dans une table HBase, si la colonne Paris appartient à la famille France, vous devez l'écrire France:Paris.

 

Field separator

Saisissez un caractère, une chaîne de caractères ou une expression régulière pour séparer les champs des données transférées.

Note

Ce champ est activé uniquement lorsque vous sélectionnez PigStorage dans la liste Store function.

 

Sequence Storage configuration

Cette zone est disponible uniquement pour la fonction SequenceFileStorage. Comme un enregistrement SequenceFile se compose de paires binaires clé/valeur, les paramètres à configurer sont les suivants :

Key column : Sélectionnez la colonne clé d'un enregistrement clé/valeur.

Value column : Sélectionnez la colonne de valeur d'un enregistrement clé/valeur.

Advanced settings

Register jar

Cliquez sur le bouton pour ajouter des lignes à la table et, dans ces lignes, parcourez votre système jusqu'aux fichiers Jar à ajouter. Par exemple, pour enregistrer un fichier Jar nommé piggybank.jar, cliquez sur le bouton pour ajouter une ligne, puis cliquez sur cette ligne pour afficher le bouton (permettant de parcourir votre système) puis cliquez sur ce bouton pour parcourir votre système jusqu'au fichier piggybank.jar, dans l'assistant [Select Module] qui s'ouvre.

 

HBaseStorage configuration

Ajoutez et configurez plus d'options de stockage HBaseStorage dans cette table. Les options sont :

loadKey : saisissez true pour stocker la colonne Row Key comme première colonne du schéma de résultat. Sinon, saisissez false,

gt : la valeur minimale de clé,

lt : la valeur maximale de clé,

gte : la valeur minimale de clé (comprise),

lte : la valeur maximale de clé (comprise),

limit : nombre maximum de lignes à récupérer par région,

caching : nombre de lignes à mettre en cache,

caster : le convertisseur à utiliser pour écrire des valeurs dans HBase, par exemple Utf8StorageConverter.

HCatalog Configuration

Define the jars to register for HCatalog

Cette case apparaît lorsque vous utilisez tHCatStorer, mais vous pouvez la laisser décochée, car le Studio Talend enregistre automatiquement les fichiers Jar requis. Si le fichier Jar est manquant, vous pouvez cocher cette case pour afficher la table Register jar for HCatalog et configurer le chemin d'accès à ce Jar manquant.

 

tStatCatcher Statistics

Cochez cette case pour collecter les données de log, aussi bien au niveau du Job qu'au niveau de chaque composant.

Global Variables

ERROR_MESSAGE : message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères. Cette variable fonctionne uniquement si la case Die on error est décochée, si le composant a cette option.

Une variable Flow fonctionne durant l'exécution d'un composant. Une variable After fonctionne après l'exécution d'un composant.

Pour renseigner un champ ou une expression à l'aide d'une variable, appuyez sur les touches Ctrl+Espace pour accéder à la liste des variables. A partir de cette liste, vous pouvez choisir la variable que vous souhaitez utiliser.

Pour plus d'informations concernant les variables, consultez le Guide utilisateur du Studio Talend.

Utilisation

Ce composant est utilisé pour terminer une séquence Pig et nécessite un tPigLoad au début de cette séquence afin de fournir les données.

Le tPigStoreResult réutilise automatiquement la connexion créée par le composant tPigLoad dans la séquence Pig.

Notez que si vous utilisez Hortonworks Data Platform V2.0.0, le type de système d'exploitation utilisé pour la distribution Hadoop et pour le Job Talend doit être identique, par exemple Windows ou Linux. Sinon, vous devez utiliser le Jobserver de Talend afin d'exécuter un Job dans le même type de système d'exploitation que celui dans lequel la distribution Hortonworks Data Platform V2.0.0 utilisée est exécutée. Pour plus d'information concernant le Jobserver de Talend, consultez le Guide d'installation Talend.

Prérequis

La distribution Hadoop doit être correctement installée afin de garantir les interactions avec le Studio Talend. La liste suivante présente des informations d'exemple relatives à MapR.

  • Assurez-vous d'avoir installé le client MapR sur la même machine que le Studio Talend et d'avoir ajouté la bibliothèque client de MapR dans la variable PATH de cette machine. D'après la documentation de MapR, la ou les librairies du client MapR correspondant à chaque OS peuvent être trouvées MAPR_INSTALL\ hadoop\hadoop-VERSION\lib\native. Par exemple, pour Windows, la bibliothèque est lib\MapRClient.dll dans le fichier Jar du client MapR. Pour plus d'informations, consultez la page suivante sur le site de MapR : http://www.mapr.com/blog/basic-notes-on-configuring-eclipse-as-a-hadoop-development-environment-for-mapr (en anglais).

    Si vous n'ajoutez pas de librairie, il est possible que vous rencontriez l'erreur suivante : no MapRClient in java.library.path.

  • Configurez l'argument -Djava.library.path, par exemple, dans la zone Job Run VM arguments de la vue Run/Debug de la boîte de dialogue [Preferences]. Cet argument fournit au studio le chemin d'accès à la bibliothèque native du client MapR. Cela permet aux utilisateurs en souscription d'utiliser entièrement l'aperçu des données (Data viewer) afin de visualiser localement dans le studio les données stockées dans MapR. Pour plus d'informations concernant la configuration de cet argument, consultez la section expliquant comment visualiser les données dans le Guide de prise en main de Talend Big Data.

Pour plus d'informations concernant l'installation d'une distribution Hadoop, consultez le manuel correspondant à la distribution Hadoop que vous utilisez.

Log4j

Si vous utilisez une solution Talend soumise à souscription, l'activité de ce composant peut être journalisée avec la fonctionnalité log4j. Pour plus d'informations sur cette fonctionnalité, consultez le Guide utilisateur du Studio Talend.

Pour plus d'informations sur les niveaux de logs du log4j, consultez la documentation d'Apache : http://logging.apache.org/log4j/1.2/apidocs/org/apache/log4j/Level.html (en anglais).

Limitation

La connaissance des scripts Pig est nécessaire. Si vous sélectionnez HCatStorer dans la liste Store function, la connaissance de HCatalog DDL (HCatalog Data Definition Language, un sous-ensemble de Hive Data Definition Language) est nécessaire. Pour plus d'informations concernant HCatalog DDL, consultez https://cwiki.apache.org/confluence/display/Hive/HCatalog (en anglais).