Propriétés du tPigStoreResult Standard - 7.1

Pig

author
Talend Documentation Team
EnrichVersion
7.1
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Open Studio for Big Data
Talend Real-Time Big Data Platform
task
Création et développement > Systèmes tiers > Composants Processing (Intégration) > Composants Pig
Gouvernance de données > Systèmes tiers > Composants Processing (Intégration) > Composants Pig
Qualité et préparation de données > Systèmes tiers > Composants Processing (Intégration) > Composants Pig
EnrichPlatform
Studio Talend

Ces propriétés sont utilisées pour configurer le tPigStoreResult s'exécutant dans le framework de Jobs Standard.

Le composant tPigStoreResult Standard appartient aux familles Big Data et Processing.

Le composant de ce framework est disponible dans tous les produits Talend avec Big Data et dans Talend Data Fabric.

Basic settings

Property type

Peut être Repository ou Built-in.

L'option Repository vous permet de réutiliser les propriétés de connexion stockées dans le nœud Hadoop cluster du Repository. Une fois sélectionnée, le bouton apparaît. Cliquez dessus afin d'afficher la liste des propriétés stockées et, à partir de cette liste, sélectionnez les propriétés que vous souhaitez utiliser. Les paramètres appropriés sont alors définis automatiquement.

Sinon, si vous sélectionnez l'option Built-in, vous devez paramétrer manuellement chacun des paramètres.

Schema et Edit Schema

Un schéma est une description de lignes. Il définit le nombre de champs (colonnes) à traiter et à passer au composant suivant. Lorsque vous créez un Job Spark, évitez le mot réservé line lors du nommage des champs.

Modifiez le schéma en cliquant sur Edit Schema. Si le schéma est en mode Repository, trois options sont disponibles :

  • View schema : sélectionnez cette option afin de voir uniquement le schéma.

  • Change to built-in property : sélectionnez cette option pour passer le schéma en mode Built-In et effectuer des modifications locales.

  • Update repository connection : sélectionnez cette option afin de modifier le schéma stocké dans le référentiel et décider de propager ou non les modifications à tous les Jobs. Si vous souhaitez propager les modifications uniquement au Job courant, cliquez sur No et sélectionnez à nouveau la métadonnée du schéma dans la fenêtre Repository Content.

 

Built-in : le schéma est créé et conservé localement pour ce composant seulement. scénario associé : consultez le Guide utilisateur du Studio Talend .

 

Repository : le schéma existe déjà et est stocké dans le Repository. Ainsi, il peut être réutilisé dans divers projets et Jobs. Scénario associé : consultez le Guide utilisateur du Studio Talend .

Utiliser un endpoint S3

Cochez cette case pour écrire des données dans un dossier d'un bucket Amazon S3.

Après avoir coché la case Use S3 endpoint, vous devez renseigner les paramètres suivants dans les champs qui apparaissent :
  • S3 bucket name and folder : saisissez le nom du bucket et celui du dossier dans lequel vous souhaitez écrire les données. Vous devez séparer le nom du bucket et le nom du dossier par une barre oblique (/).

  • Access key et Secret key : renseignez les informations d'authentification requises pour vous connecter au bucket Amazon S3 à utiliser.

    Pour saisir le mot de passe, cliquez sur le bouton [...] à côté du champ Password, puis, dans la boîte de dialogue qui s'ouvre, saisissez le mot de passe entre guillemets doubles et cliquez sur OK afin de sauvegarder les paramètres.

Notez que le format du fichier S3 est S3N (S3 Native Filesystem).

Result folder URI

Spécifiez le chemin d'accès au fichier de résultat dans lequel les données sont stockées.

Remove result directory if exists

Cochez cette case pour supprimer un répertoire de résultats existant.
Remarque :

Cette case est désactivée lorsque vous sélectionnez HCatStorer dans la liste Store function.

Fonction de stockage

Sélectionnez une fonction de stockage pour stocker les données :
  • PigStorage : stocke les données au format UTF-8.

  • BinStorage : stocke les données dans un format lisible par les machines.

  • PigDump : stocke les données en tant que tuples dans un format UTF-8 lisible par l'humain.

  • HCatStorer : stocke les données dans les tables gérées par HCatalog à l'aide de scripts Pig.

  • HBaseStorage : stocke les données dans HBase. Vous devez terminer la configuration de HBase dans la zone HBase configuration.

  • SequenceFileStorage : stocke des données au format SequenceFile. Vous devez terminer la configuration du fichier à stocker dans la zone Sequence Storage Configuration qui s'affiche.

  • RCFilePigStorage : stocke des données au format RCFile format.

  • AvroStorage : charge des fichiers Avro. Pour plus d'informations concernant AvroStorage, consultez la documentation Apache sur le site https://cwiki.apache.org/confluence/display/PIG/AvroStorage (en anglais).

  • ParquetStorer : stocke des fichiers Parquet. Dans la liste Associate tPigLoad component, sélectionnez le composant tPigLoad dans lequel la connexion au cluster MapReduce à utiliser est définie.

    Dans la liste Compression qui apparaît, sélectionnez le mode de compression à utiliser pour gérer le fichier Parquet. Le mode par défaut est Uncompressed.

  • Custom : stocke les données à l'aide d'une fonction de stockage personnalisée. Pour ce faire, vous devez enregistrer, dans l'onglet Advanced settings, le fichier Jar contenant la fonction à utiliser, puis, dans le champ affiché à côté du champ Store function, spécifier cette fonction.

Notez que, lorsque le format de fichier à utiliser est PARQUET, il est possible qu'il vous soit demandé de trouver le fichier Jar Parquet spécifique et de l'installer dans le Studio.
  • Lorsque le mode de connexion à Hive est Embedded, le Job est exécuté sur votre machine locale et appelle ce Jar installé dans le Studio.

  • Lorsque le mode de connexion à Hive est Standalone, le Job est exécuté sur le serveur hébergeant Hive et ce fichier Jar est envoyé au système HDFS du cluster auquel vous vous connectez. Assurez-vous d'avoir correctement défini l'URI du NameNode dans le champ correspondant de la vue Basic settings.

Ce fichier Jar est téléchargeable depuis le site Web d'Apache. Pour plus d'informations concernant l'installation des modules externes, consultez la page Installation de modules externes.

HCatalog Configuration

Renseignez les champs suivants pour configurer les tables gérées de HCatalog dans HDFS (système de fichiers distribué Hadoop) :

Distribution et Version :

Sélectionnez la version de la distribution Hadoop correspondant à celle que vous avez définie dans la configuration de connexion du composant tPigLoad. Ce composant est utilisé dans le même process Pig que le tPigStoreResult courant.

Si le composant tPigLoad se connecte à une distribution Hadoop personnalisée, vous devez également sélectionner Custom pour ce composant tPigStoreResult. Ensuite, la table Custom jar apparaît. Dans cette table, vous devez ajouter uniquement les fichiers .jar requis pour la fonction Store function sélectionnée.

HCat metastore : saisissez l'emplacement du metastore de HCatalog, qui est également le metastore de Hive.

Database : base de données dans laquelle les tables sont stockées.

Table : table dans laquelle les données sont stockées.

Partition filter : renseignez ce champ avec les clés de partitions afin de lister les partitions par filtre.

Remarque :

La zone HCataLog Configuration est activée uniquement lorsque vous sélectionnez HCatStorer dans la liste Store function. Pour plus d'informations concernant l'utilisation de HCatalog, consultez https://cwiki.apache.org/confluence/display/Hive/HCatalog (en anglais). Pour plus d'informations concernant l'utilisation de Partition filter, consultez https://cwiki.apache.org/confluence/display/HCATALOG/Design+Document+-+Java+APIs+for+HCatalog+DDL+Commands (en anglais).

HBase configuration

Cette zone est disponible pour la fonction HBaseStorage. Les paramètres à configurer sont :

Distribution et Version :

Sélectionnez la version de la distribution Hadoop correspondant à celle que vous avez définie dans la configuration de connexion du composant tPigLoad. Ce composant est utilisé dans le même process Pig que le tPigStoreResult courant.

Si le composant tPigLoad se connecte à une distribution Hadoop personnalisée, vous devez également sélectionner Custom pour ce composant tPigStoreResult. Ensuite, la table Custom jar apparaît. Dans cette table, vous devez ajouter uniquement les fichiers .jar requis pour la fonction Store function sélectionnée.

Zookeeper quorum :

Saisissez le nom ou l'URL du service Zookeeper utilisé pour coordonner les transactions entre votre Studio et votre base de données. Notez que, lorsque vous configurez Zookeeper, vous pouvez avoir besoin de configurer explicitement la propriété zookeeper.znode.parent pour définir le chemin vers le nœud znode racine contenant tous les znodes créés et utilisés par votre base de données. Cochez la case la case Set Zookeeper znode parent afin de définir cette propriété.

Zookeeper client port :

Saisissez le numéro du port d'écoute client du service Zookeeper que vous utilisez.

Table name :

Saisissez le nom de la table HBase dans laquelle vous souhaitez stocker des données. La table doit exister dans la cible HBase.

Row key column :

Sélectionnez la colonne utilisée comme colonne Row Key de la table HBase.

Store row key column to Hbase column :

Cochez cette case pour que la colonne Row Key soit une colonne HBase appartenant à une famille de colonnes spécifique.

Mapping :

Renseignez cette table afin de mapper les colonnes de la table à utiliser avec les colonnes du schéma défini pour le flux de données à traiter.

La colonne Column de cette table est automatiquement renseignée une fois le schéma défini. Dans la colonne Family name, saisissez les familles de colonnes que vous souhaitez créer ou utiliser pour grouper les colonnes dans la colonne Column. Pour plus d'informations concernant les familles de colonnes, consultez la documentation Apache Column families (en anglais).

Field separator

Saisissez un caractère, une chaîne de caractères ou une expression régulière pour séparer les champs des données transférées.

Remarque :

Ce champ est activé uniquement lorsque vous sélectionnez PigStorage dans la liste Store function.

Sequence Storage configuration

Cette zone est disponible uniquement pour la fonction SequenceFileStorage. Comme un enregistrement SequenceFile se compose de paires binaires clé/valeur, les paramètres à configurer sont les suivants :

Key column :

Sélectionnez la colonne clé d'un enregistrement clé/valeur.

Value column

Sélectionnez la colonne de valeur d'un enregistrement clé/valeur.

Advanced settings

Enregistrer Jar

Cliquez sur le bouton [+] pour ajouter des lignes à la table et, dans ces lignes, parcourez votre système jusqu'aux fichiers Jar à ajouter. Par exemple, pour enregistrer un fichier Jar nommé piggybank.jar, cliquez sur le bouton [+] pour ajouter une ligne, puis cliquez sur cette ligne pour afficher le bouton [...](permettant de parcourir votre système) puis cliquez sur ce bouton pour parcourir votre système jusqu'au fichier piggybank.jar, dans l'assistant Select Module qui s'ouvre.

HBaseStorage configuration

Ajoutez et configurez plus d'options de stockage HBaseStorage dans cette table. Les options sont :

loadKey : saisissez true pour stocker la colonne Row Key comme première colonne du schéma de résultat. Sinon, saisissez false,

gt : la valeur minimale de clé,

lt : la valeur maximale de clé,

gte : la valeur minimale de clé (comprise),

lte : la valeur maximale de clé (comprise),

limit : nombre maximum de lignes à récupérer par région,

caching : nombre de lignes à mettre en cache,

caster : le convertisseur à utiliser pour écrire des valeurs vers HBase, par exemple, Utf8StorageConverter.

Define the jars to register for HCatalog

Cette case apparaît lorsque vous utilisez tHCatStorer, mais vous pouvez la laisser décochée, car le Studio enregistre automatiquement les fichiers Jar requis. Si le fichier Jar est manquant, vous pouvez cocher cette case pour afficher la table Register jar for HCatalog et configurer le chemin d'accès à ce Jar manquant.

tStatCatcher Statistics

Cochez cette case pour collecter les métadonnées de traitement du Job au niveau du Job ainsi qu'au niveau de chaque composant.

Variables globales

Global Variables

ERROR_MESSAGE : message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères. Cette variable fonctionne uniquement si la case Die on error est décochée, lorsque le composant contient cette case.

Une variable Flow fonctionne durant l'exécution d'un composant. Une variable After fonctionne après l'exécution d'un composant.

Pour renseigner un champ ou une expression à l'aide d'une variable, appuyez sur les touches Ctrl+Espace pour accéder à la liste des variables. À partir de cette liste, vous pouvez choisir la variable que vous souhaitez utiliser.

Pour plus d'informations concernant les variables, consultez le Guide utilisateur du Studio Talend .

Utilisation

Règle d'utilisation

Ce composant est utilisé pour terminer une séquence Pig et nécessite un tPigLoad au début de cette séquence afin de fournir les données.

Ce composant réutilise automatiquement la connexion créée par le composant tPigLoad dans la séquence Pig.

Notez que si vous utilisez Hortonworks Data Platform V2.0.0, le type de système d'exploitation utilisé pour la distribution Hadoop et pour le Job Talend doit être identique, par exemple Windows ou Linux. Sinon, vous devez utiliser le Jobserver de Talend afin d'exécuter un Job dans le même type de système d'exploitation que celui dans lequel la distribution Hortonworks Data Platform V2.0.0 utilisée est exécutée.

Prérequis

La distribution Hadoop doit être correctement installée afin de garantir les interactions avec le Studio Talend . La liste suivante présente des informations d'exemple relatives à MapR.

  • Assurez-vous d'avoir installé le client MapR sur la même machine que le Studio et d'avoir ajouté la bibliothèque client de MapR dans la variable PATH de cette machine. D'après la documentation de MapR, la ou les bibliothèques du client MapR correspondant à chaque OS peuvent être trouvées dans MAPR_INSTALL\ hadoop\hadoop-VERSION\lib\native. Par exemple, pour Windows, la bibliothèque est lib\MapRClient.dll dans le fichier Jar du client MapR. Pour plus d'informations, consultez la page suivante sur le site de MapR : http://www.mapr.com/blog/basic-notes-on-configuring-eclipse-as-a-hadoop-development-environment-for-mapr (en anglais).

    Si vous n'ajoutez pas de librairie, il est possible que vous rencontriez l'erreur suivante : no MapRClient in java.library.path.

  • Configurez l'argument -Djava.library.path, par exemple, dans la zone Job Run VM arguments de la vue Run/Debug de la boîte de dialogue Preferences dans le menu Window. Cet argument fournit au Studio le chemin d'accès à la bibliothèque native du client MapR. Cela permet aux utilisateurs en souscription d'utiliser entièrement l'aperçu des données (Data viewer) afin de visualiser localement dans le Studio les données stockées dans MapR.

Pour plus d'informations concernant l'installation d'une distribution Hadoop, consultez le manuel correspondant à la distribution Hadoop que vous utilisez.

Limitation

La connaissance des scripts Pig est nécessaire. Si vous sélectionnez HCatStorer dans la liste Store function, la connaissance de HCatalog DDL (HCatalog Data Definition Language, un sous-ensemble de Hive Data Definition Language) est nécessaire. Pour plus d'informations concernant HCatalog DDL, consultez https://cwiki.apache.org/confluence/display/Hive/HCatalog (en anglais).