Propriétés du tHiveWarehouseInput pour Apache Spark Batch - Cloud - 8.0

Hive

Version
Cloud
8.0
Language
Français (France)
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Real-Time Big Data Platform
Module
Studio Talend
Content
Création et développement > Systèmes tiers > Composants Database > Composants Hive
Gouvernance de données > Systèmes tiers > Composants Database > Composants Hive
Qualité et préparation de données > Systèmes tiers > Composants Database > Composants Hive

Ces propriétés sont utilisées pour configurer le tHiveWarehouseInput s'exécutant dans le framework de Jobs Spark Batch.

Le composant tHiveWarehouseInput Spark Batch appartient à la famille Stockage.

Le composant de ce framework est disponible dans tous les produits Talend avec Big Data nécessitant une souscription et dans Talend Data Fabric.

Basic settings

Type de propriété

Sélectionnez la manière de configurer les informations de connexion.

  • Built-In : les paramètres de connexion seront définis localement pour ce composant. Vous devez spécifier manuellement les valeurs pour toutes les propriétés de connexion.

  • Repository : les paramètres de connexion stockés centralement dans le Repository > Metadata seront réutilisés par ce composant.

    Vous devez cliquer sur le bouton [...] et, dans la boîte de dialogue Repository Content, sélectionnez les détails de connexion à réutiliser. Toutes les propriétés de connexion seront automatiquement renseignées.

Hive Storage Configuration Sélectionnez le composant tHiveWarehouseConfiguration duquel vous souhaitez que Spark utilise les détails de configuration pour se connecter à Hive.
HDFS Storage Configuration

Sélectionnez le composant tHDFSConfiguration duquel vous souhaitez que Spark utilise les détails de la configuration pour se connecter à un système HDFS donné et transférer les fichiers .jar dépendants à ce système HDFS. Ce champ est utile uniquement lorsque vous utilisez une distribution on-premises.

Schema et Edit Schema

Un schéma est une description de lignes. Il définit le nombre de champs (colonnes) à traiter et à passer au composant suivant. Lorsque vous créez un Job Spark, évitez le mot réservé line lors du nommage des champs.

Utilisez toujours des minuscules lors du nommage d'un champ, car le traitement en tâche de fond peut forcer les noms de champs à être en minuscules.

Sélectionnez le type de schéma à utiliser, dans la liste déroulante Schema :
  • Built-in : le schéma est créé et conservé localement pour ce composant seulement.

  • Repository : le schéma existe déjà et est stocké dans le Repository. Ainsi, il peut être réutilisé dans des Job Designs et projets.

Modifiez le schéma en cliquant sur Edit Schema. Si le schéma est en mode Repository, trois options sont disponibles :

  • View schema : sélectionnez cette option afin de voir uniquement le schéma.

  • Change to built-in property : sélectionnez cette option pour passer le schéma en mode Built-In et effectuer des modifications locales.

  • Update repository connection : sélectionnez cette option afin de modifier le schéma stocké dans le référentiel et décider de propager ou non les modifications à tous les Jobs.

    Si vous souhaitez propager les modifications uniquement au Job courant, cliquez sur No et sélectionnez à nouveau la métadonnée du schéma dans la fenêtre Repository Content.

Input source

Sélectionnez le type de données d'entrée que doit lire le tHiveWarehouseInput :
  • Hive Query : les champs de requête Database et Hive sont affichés. Vous devez saisir les informations relatives concernant la base de données Hive à laquelle se connecter et l'instruction de requête Hive à utiliser pour sélectionner les données.
  • ORC file : le champ Input file name est affiché et la liste de configuration du stockage Hive est désactivée, car le fichier ORC doit être stocké dans votre système HDFS hébergeant Hive. Saisissez le répertoire où est stocké le fichier à utiliser.

Pour plus d'informations concernant le langage de requêtes Hive, consultez https://cwiki.apache.org/confluence/display/Hive/LanguageManual (en anglais).

Remarque : Les données compressées en Gzip ou Bzip2 peuvent être traitées via les instructions de requête. Pour plus d'informations, consultez la page https://cwiki.apache.org/confluence/display/Hive/CompressedStorage (en anglais).

Hadoop fournit différents formats de compression permettant de réduire l'espace nécessaire au stockage des fichiers et d'accélérer le transfert de données. Lorsque vous lisez un fichier compressé, le Studio Talend doit le décompresser avant de pouvoir en alimenter le flux d'entrée.

Paramètres avancés

Register Hive UDF jars

Ajoutez les Jar de fonctions personnalisées Hive que vous souhaitez que le tHiveInput utilise. Notez que vous devez définir un alias de fonction pour chaque fonction personnalisée à utiliser dans la table Temporary UDF functions.

Une fois cette ligne ajoutée à la table, cliquez dessus pour afficher le bouton [...], puis cliquez sur ce bouton pour afficher l'assistant d'import de Jar. Via cet assistant, importez les fichiers Jar des fonctions personnalisées que vous souhaitez utiliser.

Une fonction enregistrée est souvent utilisée dans une requête Hive que vous modifiez dans le champ Hive Query de la vue Basic settings. Notez que ce champ Hive Query est affiché uniquement lorsque vous sélectionnez Hive query dans la liste Input source.

Temporary UDF functions

Renseignez cette table pour donner à chaque classe de fonction personnalisée importée un nom fonctionnel temporaire à utiliser dans la requête Hive dans le tHiveInput courant.

Variables globales

Global Variables

ERROR_MESSAGE : message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères. Cette variable fonctionne uniquement si la case Die on error est décochée, lorsque le composant contient cette case.

Une variable Flow fonctionne durant l'exécution d'un composant. Une variable After fonctionne après l'exécution d'un composant.

Pour renseigner un champ ou une expression à l'aide d'une variable, appuyez sur les touches Ctrl+Espace pour accéder à la liste des variables. À partir de cette liste, vous pouvez choisir la variable que vous souhaitez utiliser.

Pour plus d'informations concernant les variables, consultez le Guide d'utilisation du Studio Talend .

Utilisation

Usage rule

Ce composant est utilisé en tant que composant de début et nécessite un lien de sortie.

Ce composant doit utiliser un composant tHiveWarehouseConfiguration présent dans le même Job pour se connecter à Hive.

Ce composant, ainsi que la Palette Spark Batch à laquelle il appartient, ne s'affiche que lorsque vous créez un Job Spark Batch.