Propriétés du tFileOutputPositional pour Apache Spark Batch - 7.0

Positional

author
Talend Documentation Team
EnrichVersion
7.0
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Open Studio for MDM
Talend Real-Time Big Data Platform
task
Création et développement > Systèmes tiers > Composants File (Intégration) > Composants Positional
Gouvernance de données > Systèmes tiers > Composants File (Intégration) > Composants Positional
Qualité et préparation de données > Systèmes tiers > Composants File (Intégration) > Composants Positional
EnrichPlatform
Studio Talend

Ces propriétés sont utilisées pour configurer le tFileOutputPositional s'exécutant dans le framework de Jobs Spark Batch.

Le composant tFileOutputPositional Spark Batch appartient à la famille File.

Le composant de ce framework est disponible dans tous les produits Talend avec Big Data nécessitant une souscription et dans Talend Data Fabric.

Basic settings

Define a storage configuration component

Sélectionnez le composant de configuration à utiliser pour fournir les informations de configuration pour la connexion au système de fichiers cible, comme HDFS.

Si vous laissez cette case décochée, le système de fichiers cible est le système local.

Le composant de configuration à utiliser doit se trouver dans le même Job. Par exemple, si vous avez ajouté un composant tHDFSConfiguration dans votre Job, vous pouvez le sélectionner pour écrire le résultat dans un système HDFS donné.

Property type

Peut être Built-In ou Repository.

 

Built-In : aucune propriété n'est stockée de manière centrale.

 

Repository : Sélectionnez le fichier dans lequel sont stockées les propriétés du composant.

Les propriétés sont stockées centralement sous le nœud Hadoop Cluster de la vue Repository.

Les champs suivants sont pré-renseignés avec les données récupérées.

Pour plus d'informations concernant le nœud Hadoop Cluster, consultez le Guide de prise en main.

Cliquez sur cette icône pour ouvrir l'assistant de configuration de connexion à la base de données et enregistrer les paramètres de connexion que vous avez définis dans la vue Basic settings du composant.

Pour plus d'informations concernant la configuration et le stockage des paramètres de connexion à la base de données, consultez le Guide utilisateur du Studio Talend.

Schema et Edit Schema

Un schéma est une description de lignes. Il définit le nombre de champs (colonnes) à traiter et à passer au composant suivant. Lorsque vous créez un Job Spark, évitez le mot réservé line lors du nommage des champs.

Modifiez le schéma en cliquant sur Edit Schema. Si le schéma est en mode Repository, trois options sont disponibles :

  • View schema : sélectionnez cette option afin de voir uniquement le schéma.

  • Change to built-in property : sélectionnez cette option pour passer le schéma en mode Built-In et effectuer des modifications locales.

  • Update repository connection : sélectionnez cette option afin de modifier le schéma stocké dans le référentiel et décider de propager ou non les modifications à tous les Jobs. Si vous souhaitez propager les modifications uniquement au Job courant, cliquez sur No et sélectionnez à nouveau la métadonnée du schéma dans la fenêtre [Repository Content].

 

Built-in : le schéma est créé et conservé localement pour ce composant seulement.

 

Repository : le schéma existe déjà et est stocké dans le Repository. Ainsi, il peut être réutilisé dans des Jobs et projets.

Folder

Parcourez votre système ou saisissez le chemin d'accès aux données à utiliser dans le système de fichiers.

Ce chemin d'accès doit pointer vers un dossier plutôt que vers un fichier.

Le bouton pour parcourir votre système ne fonctionne pas en mode Local de Spark. Si vous utilisez le mode Yarn ou Standalone de Spark, assurez-vous d'avoir correctement configuré la connexion dans un composant de configuration au sein du même Job, comme le tHDFSConfiguration.

Action

Sélectionnez une opération pour créer les données :

Create : crée un fichier et écrit des données dans ce fichier.

Overwrite : écrase le fichier existant dans le répertoire spécifié dans le champ Folder.

Compress the data

Cochez la case Compress the data afin de compresser les données de sortie.

Row separator

Saisissez le séparateur utilisé pour identifier la fin d'une ligne.

Include header

Cochez cette case pour inclure l'en-tête de la colonne dans le fichier.

Custom encoding

Il est possible de rencontrer des problèmes d'encodage lorsque vous traitez les données stockées. Dans ce cas, cochez cette case pour afficher la liste Encoding.

Sélectionnez l'encodage à partir de la liste ou sélectionnez Custom et définissez-le manuellement.

Merge result to single file

Cochez cette case pour fusionner les fichiers finaux part en un fichier et mettre ce fichier dans un répertoire spécifié.

Une fois cochée, saisissez le chemin d'accès ou parcourez votre système jusqu'au dossier dans lequel stocker le fichier fusionné. Ce répertoire est automatiquement créé s'il n'existe pas.

Les cases suivantes sont utilisées pour gérer les fichiers sources et cible :
  • Remove source dir : cochez cette case pour supprimer les fichiers sources après la fusion.

  • Override target file : cochez cette case pour écraser le fichier existant à l'emplacement cible. Cette option n'écrase pas le dossier.

Cette option est indisponible pour les fichiers de type Sequence.

Formats

Personnalisez le format de données du fichier positionnel et renseignez les colonnes de la table Formats.

Column : sélectionnez la colonne à personnaliser.

Size : saisissez la taille de la colonne.

Padding char : saisissez entre guillemets les caractères de remplissage utilisés, un espace par défaut.

Alignment : sélectionnez le paramètre d'alignement approprié.

Keep : si les données dans la colonne ou dans le champ sont trop longues, sélectionnez la partie à conserver.

Advanced settings

Advanced separator (for numbers)

Cochez cette case pour modifier les séparateurs utilisés pour les nombres :

Thousands separator : définissez le séparateur pour les milliers.

Decimal separator : définissez le séparateur pour les décimaux.

Use local timezone for date Cochez cette case pour utiliser la date locale de la machine sur laquelle votre Job est exécuté. Si vous ne cochez pas cette case, UTC est automatiquement utilisé pour formater les données de type Date.

Utilisation

Règle d'utilisation

Ce composant est utilisé en tant que composant de fin et requiert un lien d'entrée.

Ce composant, ainsi que la Palette Spark Batch à laquelle il appartient, ne s'affiche que lorsque vous créez un Job Spark Batch.

Notez que, dans cette documentation, sauf mention contraire, un scénario présente uniquement des Jobs Standard, c'est-à-dire des Jobs Talend traditionnels d'intégration de données.

Spark Connection

Dans l'onglet Spark Configuration de la vue Run, définissez la connexion à un cluster Spark donné pour le Job complet. De plus, puisque le Job attend ses fichiers .jar dépendants pour l'exécution, vous devez spécifier le répertoire du système de fichiers dans lequel ces fichiers .jar sont transférés afin que Spark puisse accéder à ces fichiers :
  • Yarn mode (Yarn Client ou Yarn Cluster) :
    • Lorsque vous utilisez Google Dataproc, spécifiez un bucket dans le champ Google Storage staging bucket de l'onglet Spark configuration.

    • Lorsque vous utilisez HDInsight, spécifiez le blob à utiliser pour le déploiement du Job, dans la zone Windows Azure Storage configuration de l'onglet Spark configuration.

    • Lorsque vous utilisez Altus, spécifiez le bucket S3 ou le stockage Azure Data Lake (apercu technique) pour le déploiement du Job, dans l'onglet Spark configuration.
    • Lorsque vous utilisez d'autres distributions, utilisez le composant de configuration correspondant au système de fichiers utilisé par votre cluster. Généralement, ce système est HDFS et vous devez utiliser le tHDFSConfiguration.

  • Standalone mode : vous devez choisir le composant de configuration selon le système de fichiers que vous utilisez, comme tHDFSConfiguration ou tS3Configuration.

Cette connexion fonctionne uniquement pour le Job dans lequel vous l'avez définie.