Propriétés du tFileOutputPositional pour Apache Spark Batch

Positional

author
Talend Documentation Team
EnrichVersion
6.4
EnrichProdName
Talend Open Studio for ESB
Talend Data Fabric
Talend ESB
Talend Big Data Platform
Talend Big Data
Talend Open Studio for MDM
Talend Open Studio for Data Integration
Talend Real-Time Big Data Platform
Talend Data Integration
Talend MDM Platform
Talend Open Studio for Big Data
Talend Data Services Platform
Talend Data Management Platform
task
Gouvernance de données > Systèmes tiers > Composants File (Intégration) > Composants Positional
Création et développement > Systèmes tiers > Composants File (Intégration) > Composants Positional
Qualité et préparation de données > Systèmes tiers > Composants File (Intégration) > Composants Positional
EnrichPlatform
Studio Talend

Ces propriétés sont utilisées pour configurer le tFileOutputPositional s'exécutant dans le framework de Jobs Spark Batch.

Le composant tFileOutputPositional Spark Batch appartient à la famille File.

Le composant de ce framework est disponible si vous avez souscrit à l'une des solutions Big Data de Talend.

Basic settings

Define a storage configuration component

Sélectionnez le composant de configuration à utiliser pour fournir les informations de configuration pour la connexion au système de fichiers cible, comme HDFS.

Si vous laissez cette case décochée, le système de fichiers cible est le système local.

Le composant de configuration à utiliser doit se trouver dans le même Job. Par exemple, si vous avez ajouté un tHDFSConfiguration dans votre Job, vous pouvez le sélectionner pour écrire le résultat dans un système HDFS donné.

Property type

Peut être Built-In ou Repository.

 

Built-In : Propriétés utilisées ponctuellement.

 

Repository : Sélectionnez le fichier dans lequel sont stockées les propriétés du composant.

Les propriétés sont stockées centralement sous le nœud Hadoop Cluster de la vue Repository.

Les champs suivants sont pré-renseignés avec les données récupérées.

Pour plus d'informations concernant le nœud Hadoop Cluster, consultez le Guide de prise en main de Talend Open Studio for Big Data.

Cliquez sur cette icône pour ouvrir l'assistant de connexion à la base de données et stocker les paramètres de connexion configurés dans la vue Basic settings.

Pour plus d'informations concernant la configuration et le stockage des paramètres de connexion à la base de données, consultez le Guide utilisateur du Studio Talend .

Schema et Edit Schema

Un schéma est une description de lignes, il définit le nombre de champs (colonnes) qui sont traités et passés au composant suivant. Le schéma est soit local (Built-In), soit distant dans le Repository.

Cliquez sur Edit schema pour modifier le schéma. Si le schéma est en mode Repository, trois options sont disponibles :

  • View schema : sélectionnez cette option afin de voir le schéma.

  • Change to built-in property : sélectionnez cette option pour passer le schéma en mode Built-In et effectuer des modifications locales.

  • Update repository connection : sélectionnez cette option afin de modifier le schéma stocké dans le référentiel et décider de propager ou non les modifications à tous les Jobs. Si vous souhaitez propager les modifications uniquement au Job courant, cliquez sur No et sélectionnez à nouveau la métadonnée du schéma dans la fenêtre [Repository Content].

 

Built-In : Le schéma est créé et conservé ponctuellement pour ce composant seulement. Voir également le Guide utilisateur du Studio Talend.

 

Repository : Le schéma existe déjà et il est stocké dans le Repository. Ainsi, il peut être réutilisé. Voir également le Guide utilisateur du Studio Talend.

Folder

Parcourez votre système ou saisissez le chemin d'accès aux données à utiliser dans le système de fichiers.

Ce chemin d'accès doit pointer vers un dossier plutôt que vers un fichier.

Le bouton pour parcourir votre système ne fonctionne pas en mode Local de Spark. Si vous utilisez le mode Yarn ou Standalone de Spark, assurez-vous d'avoir correctement configuré la connexion dans un composant de configuration au sein du même Job, comme le tHDFSConfiguration.

Action

Sélectionnez une opération pour créer les données :

Create : crée un fichier et écrit des données dans ce fichier.

Overwrite : écrase le fichier existant dans le répertoire spécifié dans le champ Folder.

Compress the data

Cochez la case Compress the data afin de compresser les données de sortie.

Row separator

Saisissez le séparateur utilisé pour identifier la fin d'une ligne.

Include header

Cochez cette case pour inclure l'en-tête de la colonne dans le fichier.

Custom encoding

Il est possible de rencontrer des problèmes d'encodage lorsque vous traitez les données stockées. Dans ce cas, cochez cette case pour afficher la liste Encoding.

Sélectionnez l'encodage à partir de la liste ou sélectionnez Custom et définissez-le manuellement.

Merge result to single file

Cochez cette case pour fusionner les fichiers finaux part en un fichier et mettre ce fichier dans un répertoire spécifié.

Une fois cochée, saisissez le chemin d'accès ou parcourez votre système jusqu'au dossier dans lequel stocker le fichier fusionné. Ce répertoire est automatiquement créé s'il n'existe pas.

Les cases suivantes sont utilisées pour gérer les fichiers source et cible :
  • Remove source dir : cochez cette case pour supprimer les fichiers source après la fusion.

  • Override target file : cochez cette case pour écraser le fichier existant à l'emplacement cible. Cette option n'écrase pas le dossier.

Cette option est indisponible pour les fichiers de type Sequence.

Formats

Personnalisez le format de données du fichier positionnel et renseignez les colonnes de la table Formats.

Column : sélectionnez la colonne à personnaliser.

Size : saisissez la taille de la colonne.

Padding char : saisissez entre guillemets les caractères de remplissage utilisés, un espace par défaut.

Alignment : sélectionnez le paramètre d'alignement approprié.

Keep : si les données dans la colonne ou dans le champ sont trop longues, sélectionnez la partie à conserver.

Advanced settings

Advanced separator (for numbers)

Cochez cette case pour modifier les séparateurs utilisés pour les nombres :

Thousands separator : définissez le séparateur pour les milliers.

Decimal separator : définissez le séparateur pour les décimaux.

Utilisation

Règle d'utilisation

Ce composant est utilisé en tant que composant de fin et requiert un lien d'entrée.

Ce composant, ainsi que la Palette Spark Batch à laquelle il appartient, ne s'affiche que lorsque vous créez un Job Spark Batch.

Notez que, dans cette documentation, sauf mention contraire, un scénario présente uniquement des Jobs Standard, c'est-à-dire des Jobs Talend traditionnels d'intégration de données.

Spark Connection

Vous devez utiliser l'onglet Spark Configuration de la vue Run afin de définir la connexion à un cluster Spark donné pour le Job complet. De plus, puisque le Job attend ses fichiers .jar dépendants pour l'exécution, vous devez spécifier le répertoire du système de fichiers dans lequel ces fichiers .jar sont transférés afin que Spark puisse accéder à ces fichiers :
  • Yarn mode : lorsque vous utilisez Google Dataproc, spécifiez un bucket dans le champ Google Storage staging bucket de l'onglet Spark configuration. Lorsque vous utilisez d'autres distributions, utilisez un composant tHDFSConfiguration afin de spécifier le répertoire.

  • Standalone mode : vous devez choisir le composant de configuration selon le système de fichiers que vous utilisez, comme tHDFSConfiguration ou tS3Configuration.

Cette connexion fonctionne uniquement pour le Job dans lequel vous l'avez définie.