Propriétés du tPartition pour Apache Spark Batch - 6.4

Processing (Integration)

author
Talend Documentation Team
EnrichVersion
6.4
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Open Studio for MDM
Talend Real-Time Big Data Platform
task
Création et développement > Systèmes tiers > Composants Processing (Intégration)
Gouvernance de données > Systèmes tiers > Composants Processing (Intégration)
Qualité et préparation de données > Systèmes tiers > Composants Processing (Intégration)
EnrichPlatform
Studio Talend

Ces propriétés sont utilisées pour configurer le tPartition s'exécutant dans le framework de Jobs Spark Batch.

Le composant tPartition Spark Batch appartient à la famille Processing.

Le composant de ce framework est disponible dans tous les produits Big Data de Talend.

Basic settings

Schema et Edit Schema

Un schéma est une description de lignes, il définit le nombre de champs (colonnes) qui sont traités et passés au composant suivant. Le schéma est soit local (Built-In), soit distant dans le Repository.

Cliquez sur Edit schema pour modifier le schéma. Si le schéma est en mode Repository, trois options sont disponibles :

  • View schema : sélectionnez cette option afin de voir le schéma.

  • Change to built-in property : sélectionnez cette option pour passer le schéma en mode Built-In et effectuer des modifications locales.

  • Update repository connection : sélectionnez cette option afin de modifier le schéma stocké dans le référentiel et décider de propager ou non les modifications à tous les Jobs. Si vous souhaitez propager les modifications uniquement au Job courant, cliquez sur No et sélectionnez à nouveau la métadonnée du schéma dans la fenêtre [Repository Content].

Cliquez sur le bouton Sync columns pour récupérer le schéma du composant précédent.

Number of partitions

Définissez en combien de partitions vous souhaitez diviser l'ensemble de données d'entrée.

Partition key

Renseignez cette table pour définir la clé à utiliser pour le partitionnement.

Dans la table Partition key, les colonnes du schéma sont automatiquement ajoutées dans la colonne Column. Dans le colonne Partition column, vous devez cocher les cases correspondant aux colonnes que vous devez utiliser en tant que clé du partitionnement.

Le partitionnement traite les données en mode Hash, c'est-à-dire que les enregistrements répondant aux mêmes critères (la clé) sont répartis dans la même partition.

Use custom partitioner

Cochez cette case pour utiliser un partitionner Spark à importer de l'extérieur du Studio, par exemple, un partitionner développé par vos soins. Dans cette situation, vous devez fournir les informations suivantes :
  • Custom partitioner FQCN : saisissez le nom de classe entièrement qualifié du partitionner à importer.

  • Custom partitioner JAR: cliquez sur le bouton [+] autant de fois que nécessaire pour ajouter le même nombre de lignes. Dans chaque ligne, cliquez sur le bouton [...] pour importer le fichier .jar contenant la classe du partitionner et ses fichiers .jar dépendants.

Sort within partitions

Cochez cette case pour trier les enregistrements au sein de chaque partition.

Cette fonctionnalité est utile lorsqu'une partition contient différentes valeurs clés distinctes.
  • Natural key order : les clés sont triées dans leur ordre naturel, par exemple dans l'ordre alphabétique.

  • Custom comparator : cela permet d'utiliser un programme personnalisé pour trier les clés.

    Vous devez saisir le nom de classe entièrement qualifié du comparateur utilisé à importer dans le champ Custom comparator FQCN et ajouter les fichiers .jar à charger dans la table Custom comparator JAR.

Utilisation

Règle d'utilisation

Ce composant est utilisé comme étape intermédiaire.

Ce composant, ainsi que la Palette Spark Batch à laquelle il appartient, ne s'affiche que lorsque vous créez un Job Spark Batch.

Notez que, dans cette documentation, sauf mention contraire, un scénario présente uniquement des Jobs Standard, c'est-à-dire des Jobs Talend traditionnels d'intégration de données.

Spark Connection

Vous devez utiliser l'onglet Spark Configuration de la vue Run afin de définir la connexion à un cluster Spark donné pour le Job complet. De plus, puisque le Job attend ses fichiers .jar dépendants pour l'exécution, vous devez spécifier le répertoire du système de fichiers dans lequel ces fichiers .jar sont transférés afin que Spark puisse accéder à ces fichiers :
  • Yarn mode : lorsque vous utilisez Google Dataproc, spécifiez un bucket dans le champ Google Storage staging bucket de l'onglet Spark configuration. Lorsque vous utilisez d'autres distributions, utilisez un composant tHDFSConfiguration afin de spécifier le répertoire.

  • Standalone mode : vous devez choisir le composant de configuration selon le système de fichiers que vous utilisez, comme tHDFSConfiguration ou tS3Configuration.

Cette connexion fonctionne uniquement pour le Job dans lequel vous l'avez définie.