tFileInputPositional - 6.1

Composants Talend Guide de référence

EnrichVersion
6.1
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for Data Quality
Talend Open Studio for ESB
Talend Open Studio for MDM
Talend Real-Time Big Data Platform
task
Création et développement
Gouvernance de données
Qualité et préparation de données
EnrichPlatform
Studio Talend

Fonction

Le composant tFileInputPositional lit un fichier ou un flux de données ligne par ligne et extrait les champs selon un modèle (pattern).

Objectif

Le tFileInputPositional lit un fichier ou un flux de données ligne par ligne, sépare les champs tels que définis par le schéma et passe les données extraites au composant suivant via une connexion de type Row.

Si vous avez souscrit à l'une des solutions Big Data de Talend, ce composant est disponible dans les types de Job suivants :

Propriétés du tFileInputPositional

Famille de composant

File/Input

 

Basic settings

Property type

Peut être Built-in ou Repository.

 

 

- Built-in : Propriétés utilisées ponctuellement.

 

 

- Repository : Sélectionnez le fichier dans lequel sont stockées les propriétés du composant.

  Use existing dynamic

Cochez cette case pour réutiliser un schéma dynamique existant afin de gérer des données provenant de colonnes inconnues.

Lorsque cette case est cochée, une liste Component list apparaît et vous permet de sélectionner le composant utilisé pour configurer le schéma dynamique.

 

File name/Stream

File name : Chemin d'accès et nom du fichier à traiter.

Stream : Flux de données à traiter. Les données doivent préalablement être mises en flux afin d'être récupérées par le tFileInputPositional via la variable représentative correspondante.

Cette variable peut être prédéfinie dans votre Studio ou fournie par le contexte ou les composants utilisé(s) avec ce composant, par exemple la variable INPUT_STREAM du tFileFetch. Sinon, vous pouvez la définir manuellement et l'utiliser selon votre Job, par exemple à l'aide d'un tJava ou d'un tJavaFlex.

Afin d'éviter les désagréments de la saisie, vous pouvez sélectionner la variable qui vous intéresse dans la liste d'autocomplétion (Ctrl+Espace) afin de remplir le champ, si cette variable a été correctement définie.

Pour plus d'informations concernant les variables disponibles, consultez le Guide utilisateur du Studio Talend.

Pour plus d'informations concernant les flux d'entrée, consultez Scénario 2 : Lire les données d'un fichier distant en mode stream.

 

Row separator

Saisissez le séparateur à utiliser pour identifier la fin des lignes.

 

Use byte length as the cardinality

Cochez cette case pour permettre la prise en charge des caractères à deux octets dans ce composant. Pour cette fonction, JDK 1.6 est requis.

 

Customize

Cochez cette case pour personnaliser le format des données du fichier positionnel et renseignez les colonnes du tableau Formats.

Column : Sélectionnez la colonne que vous souhaitez personnaliser.

Size : Saisissez la taille correspondant à la colonne.

Padding char : saisissez, entre guillemets, le caractère de remplissage à supprimer du champ. Le caractère par défaut est un espace.

Alignment : Sélectionnez le paramètre d'alignement approprié.

 

Pattern

Longueurs séparées par des virgules, interprétées comme une chaîne de caractères entre guillemets. Vérifiez que les valeurs saisies dans ce champ sont cohérentes avec le schéma défini.

 

Skip empty rows

Cochez cette case pour ignorer les lignes vides.

 

Uncompress as zip file

Cochez cette case pour décompresser le fichier d'entrée.

 

Die on error

Cochez cette case pour arrêter l'exécution du Job lorsqu'une erreur survient.

Décochez la case pour ignorer les lignes en erreur et terminer le processus avec les lignes sans erreur. Lorsque les erreurs sont ignorées,vous pouvez récupérer les lignes en erreur, si vous le souhaitez. Pour cela, utilisez un lien Row > Reject.

 

Header

Saisissez le nombre de lignes à ignorer au début du fichier.

 

Footer

Nombre de ligne à ignorer à la fin d'un fichier.

 

Limit

Nombre maximum de lignes à traiter. Si Limit = 0, aucune ligne n'est lue ou traitée.

 

Schema et Edit Schema

Un schéma est une description de lignes, il définit le nombre de champs (colonnes) qui sont traités et passés au composant suivant. Le schéma est soit local (Built-In), soit distant dans le Repository.

Cliquez sur Edit schema pour modifier le schéma. Si le schéma est en mode Repository, trois options sont disponibles :

  • View schema : sélectionnez cette option afin de voir le schéma.

  • Change to Built-In property : sélectionnez cette option pour passer le schéma en mode Built-In et effectuer des modifications locales.

  • Update repository connection : sélectionnez cette option afin de modifier le schéma stocké dans le référentiel et décider de propager ou non les modifications à tous les Jobs. Si vous souhaitez propager les modifications uniquement au Job courant, sélectionnez No et sélectionnez à nouveau la métadonnée du schéma dans la fenêtre [Repository Content].

Ce composant offre la fonction de schéma dynamique. Cela vous permet de récupérer des colonnes inconnues à partir de fichiers source ou de copier des lots de colonnes d'une source sans avoir à mapper individuellement ces colonnes. Pour plus d'informations concernant les schémas dynamiques, consultez le Guide utilisateur de Studio Talend.

Cette fonctionnalité de schéma dynamique est conçue pour permettre de récupérer des colonnes inconnues d'une table. Il est recommandé de l'utiliser uniquement à cet effet et non pour créer des tables.

Pour bénéficier de la fonctionnalité de schéma dynamique, vous pouvez utiliser ce composant avec le tSetDynamicSchema.

 

 

Built-In : Le schéma est créé et conservé ponctuellement pour ce composant seulement. Voir également le Guide utilisateur du Studio Talend.

 

 

Repository : Le schéma existe déjà et il est stocké dans le Repository. Ainsi, il peut être réutilisé. Voir également le Guide utilisateur du Studio Talend.

Advanced settings

Needed to process rows longer than 100 000 characters

Cochez cette case si les lignes à traiter dans le fichier d'entrée font plus de 100 000 caractères de long.

 

Advanced separator (for numbers)

Cochez cette case pour modifier le séparateur utilisé pour les nombres. Par défaut, le séparateur des milliers est une virgule (,) et le séparateur décimal est un point (.).

Thousands separator : configurez le séparateurs des milliers.

Decimal separator : configurez le séparateur pour les décimaux.

 

Trim all columns

Cochez cette case pour supprimer les espaces en début et en fin de champ dans toutes les colonnes.

 

Check columns to trim

Cochez la case devant le nom de chacune des colonnes dont vous souhaitez supprimer les espaces de début et de fin de champ.

 

Validate date

Cochez cette case pour vérifier strictement le format de date par rapport au schéma d'entrée.

 

Encoding

Sélectionnez l'encodage à partir de la liste ou sélectionnez Custom et définissez-le manuellement. Ce champ est obligatoire pour la gestion de données de bases de données.

 

tStatCatcher Statistics

Cochez cette case pour collecter les données de log au niveau du Job, ainsi qu'au niveau de chaque composant.

Global Variables

NB_LINE : nombre de lignes traitées. Cette variable est une variable After et retourne un entier.

ERROR_MESSAGE : message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères. Cette variable fonctionne uniquement si la case Die on error est décochée, si le composant a cette option.

Une variable Flow fonctionne durant l'exécution d'un composant. Une variable After fonctionne après l'exécution d'un composant.

Pour renseigner un champ ou une expression à l'aide d'une variable, appuyez sur les touches Ctrl+Espace pour accéder à la liste des variables. A partir de cette liste, vous pouvez choisir la variable que vous souhaitez utiliser.

Pour plus d'informations concernant les variables, consultez le Guide utilisateur du Studio Talend.

Utilisation

Utilisez ce composant pour lire un fichier et séparer les champs à l'aide du séparateur spécifié. Ce composant permet de créer un flux de données à l'aide d'un lien Row > Main, ainsi que de créer un flux de rejet avec un lien Row > Reject filtrant les données dont le type ne correspond pas au type défini. Pour un exemple d'utilisation de ces deux liens, consultez Scénario 2 : Extraire les données XML erronées dans un flux de rejet du composant tFileInputXML.

Log4j

Si vous utilisez une solution Talend soumise à souscription, l'activité de ce composant peut être journalisée avec la fonctionnalité log4j. Pour plus d'informations sur cette fonctionnalité, consultez le Guide utilisateur du Studio Talend.

Pour plus d'informations sur les niveaux de logs du log4j, consultez la documentation d'Apache : http://logging.apache.org/log4j/1.2/apidocs/org/apache/log4j/Level.html (en anglais).

Scénario 1 : Transformer un fichier positionnel en fichier XML

Le scénario suivant construit un Job avec deux composants, qui a pour objectif de lire les données d'un fichier positionnel en entrée et de rendre des données sélectionnées en sortie (selon leur position) dans un fichier XML.

Contract       CustomerRef    InsuranceNr
00001          8200           50330      
00001          8201           50331      
00002          8202           50332      
00002          8203           50333      

Déposer et relier les composants

  1. Cliquez et déposez un composant tFileInputPositional de la Palette dans l'espace de modélisation.

  2. Cliquez-déposez un composant tFileOutputXML. Ce fichier recevra les références de manière structurée.

  3. Cliquez-droit sur le composant tFileInputPositional et sélectionnez une connexion Row > Main. Glissez cette connexion vers le composant tFileOutputXML et relâchez la souris lorsque le symbole de prise de courant apparaît.

Configurer les données d'entrée

  1. Sélectionnez le composant tFileInputPositional pour afficher sa vue Basic settings et définir ses propriétés.

  2. Les propriétés de ce Job sont de type Built-in pour ce scénario.

    Par conséquent, les informations de propriétés sont renseignées pour ce Job seulement et ne peuvent être réutilisées pour un autre Job, contrairement à des propriétés de type Repository.

  3. Renseignez le chemin d'accès au fichier dans le champ File Name. Ce champ est obligatoire.

  4. Puis définissez le séparateur de lignes (Row separator) permettant d'identifier la fin de la ligne : le retour chariot par défaut.

  5. Si nécessaire, cochez la case Use byte length as the cardinality pour permettre la prise en charge des caractères à deux octets.

  6. Puis dans le champ Pattern définissant les champs d'une ligne. Le pattern est une série de longueurs correspondant aux valeurs de champs du fichier en entrée. Les valeurs doivent être saisies entre guillemets simples et séparées par une virgule. Veillez à ce que les valeurs saisies correspondent à la longueur des champs définis dans le schéma.

  7. Renseignez les champs d'en-tête (Header), de pied de page (Footer) et de limite (Limit) selon la structure de votre fichier d'entrée et selon vos besoins. Dans ce scénario, ignorez la première ligne lors de la lecture du fichier d'entrée en saisissant 1 dans le champ Header et laissez les autres champs tels qu'ils sont.

  8. Dans la liste Schema, sélectionnez Repository si le schéma d'entrée est stocké dans le Repository. Dans ce scénario, sélectionnez Built-In pour définir les données à transmettre au composant tFileOutputXML.

  9. Vous pouvez sélectionner et/ou modifier le schéma via la fonction Edit Schema. Pour ce schéma, définissez trois colonnes, respectivement Contracts, CustomerRef et InsuranceNr correspondant aux trois valeurs de longueurs définies. Cliquez sur OK pour fermer la boîte de dialogue [Schema] et propager les modifications.

Configurer les données de sortie

  1. Double-cliquez sur le composant tFileOutputXML afin d'afficher sa vue Basic settings et configurer ses propriétés de base.

  2. Saisissez le chemin d'accès au fichier XML de sortie.

  3. Définissez la balise de la ligne (Row tag) qui définit chaque ligne. Dans ce cas, la balise est ContractRef.

  4. Cliquez sur le bouton [+] à côté du champ Edit Schema pour voir la structure de données, puis cliquez sur Sync columns pour récupérer la structure des données du composant d'entrée.

  5. Cliquez sur l'onglet Advanced settings afin de configurer les paramètres avancées de la sortie XML.

  6. Cliquez sur le bouton [+] pour ajouter une ligne dans la table Root tags et saisissez un nom de balise (ou plusieurs) pour encadrer la structure XML de sortie, ContractsList dans ce scénario.

  7. Configurez les paramètres dans la table Output format si nécessaire. Par exemple, cochez la case As attribute d'une colonne si vous souhaitez utiliser son nom et sa valeur comme attribut pour l'élément XML parent. Décochez la case Use schema colum name pour que la colonne réutilise le libellé de la colonne d'entrée comme libellé de la balise. Dans ce scénario, laissez les paramètres par défaut.

  8. Pour regrouper les lignes de sortie selon le numéro de contrat, cochez la case Use dynamic grouping, ajoutez une ligne dans la table Group by, sélectionnez Contract dans la liste Column et saisissez un attribut pour cette colonne dans le champ Attribute label.

  9. Laissez les autres paramètres tels qu'ils sont.

Sauvegarder et exécuter le Job

  1. Appuyez sur les touches Ctrl+S afin de sauvegarder votre Job et vous assurer que tous les paramètres sont bien pris en compte.

  2. Appuyez sur F6 ou cliquez sur l'onglet Run puis sur le bouton Run pour exécuter le Job.

    Le fichier est lu ligne par ligne selon les longueurs définies précédemment dans le champ Pattern et écrit en tant que fichier XML, comme défini dans les paramètres de sortie. Vous pouvez l'ouvrir dans n'importe quel éditeur XML standard.

Scénario 2 : Gérer un fichier positionnel à partir d'un schéma dynamique

Ce scénario décrit un Job à quatre composants lisant des données d'un fichier positionnel, écrivant les données dans un autre fichier positionnel et remplaçant les caractères de remplissage par un espace. Les détails des colonnes du schéma ne sont pas définis dans les composants positionnels, car ces derniers tirent parti du schéma dynamique réutilisable. Le fichier d'entrée utilisé dans ce scénario se présente comme suit :

id----name--------city--------
1-----Andrews-----Paris-------
2-----Mark--------London------
3-----Marie-------Paris-------
4-----Michael-----Washington--

Déposer et relier les composants

  1. Déposez les composants suivants de la Palette dans l'espace de modélisation graphique : un tFixedFlowInput, un tSetDynamicSchema, un tFileInputPositional et un tFileOutputPositional.

  2. Reliez le tFixedFlowInput au tSetDynamicSchema à l'aide d'un lien Row > Main afin de former un sous-job. Ce sous-job va définir un schéma dynamique réutilisable.

  3. Connectez le composant tFileInputPositional au tFileOutputPositional à l'aide d'un lien Row > Main pour former le second sous-job. Ce sous-job va lire les données du fichier positionnel d'entrée et va les écrire dans un autre fichier positionnel, selon le schéma dynamique configuré dans le sous-job précédent.

  4. Connectez le tFixedFlowInput au composant tFileInputPositional à l'aide d'un lien Trigger > OnSubjobOk afin de relier les deux sous-jobs.

Configurer le premier sous-job : créer un schéma dynamique

  1. Double-cliquez sur le tFixedFlowInput pour ouvrir sa vue Basic settings.

  2. Cliquez sur le bouton [...] à côté du champ Edit schema pour ouvrir la boîte de dialogue [Schema].

  3. Cliquez trois fois sur le bouton [+] pour ajouter trois colonnes : ColumnName, ColumnType et ColumnLength, puis définir leur type comme String, String et Integer respectivement. Ce sont les propriétés requises dans un schéma positionnel. Cliquez sur OK pour fermer la boîte de dialogue.

  4. Sélectionnez l'option Use Inline Table, cliquez trois fois sur le bouton [+] pour ajouter trois lignes et nommez-les selon le fichier d'entrée à lire : ID, Name et City, respectivement. Définissez leur type dans le champ ColumnType : id_Interger pour la colonne ID et id_String pour les colonnes Name et City. Configurez la longueur des colonnes dans le champ ColumnLength. Notez que le nom donné aux colonnes dans cette table composera l'en-tête du fichier de sortie.

  5. Double-cliquez sur le composant tSetDynamicSchema pour ouvrir sa vue Basic settings.

  6. Cliquez sur le bouton Sync columns afin de vous assurer que la structure du schéma est bien récupérée du composant précédent.

  7. Sous la table Parameters, cliquez trois fois sur le bouton [+] pour ajouter trois lignes.

  8. Cliquez dans le champ Property de chaque ligne et sélectionnez ColumnName, Type et Length respectivement.

  9. Cliquez dans le champ Value de chaque ligne et sélectionnez ColumnName, ColumnType et ColumnLength, respectivement.

    Avec les valeurs définies dans la table du composant tFixedFlowInput récupérées, la structure suivante des données est définie dans le schéma dynamique :

    Column NameTypeLength
    IDInteger6
    NameString12
    CityString12

Configurer le second sous-job : lire et écrire les données positionnelles

  1. Double-cliquez sur le composant tFileInputPositional afin d'ouvrir sa vue Basic settings.

    Avertissement

    La fonctionnalité de schéma dynamique est supportée uniquement en mode Built-In et requiert une ligne d'en-tête dans le fichier d'entrée.

  2. Cochez la case Use existing dynamic. Dans la liste Component List qui apparaît, sélectionnez le composant tSetDynamicSchema utilisé pour créer le schéma dynamique. Dans cet exemple, un seul tSetDynamicSchema est utilisé, il est donc automatiquement sélectionné.

  3. Dans le champ File name/Stream, saisissez le chemin d'accès au fichier positionnel d'entrée ou parcourez votre système jusqu'à celui-ci, en cliquant sur le bouton [...].

  4. Renseignez les champs Header, Footer et Limit selon la structure de votre fichier d'entrée et vos besoins. Dans ce scénario, ignorez simplement la première ligne lors de la lecture du fichier d'entrée. Pour ce faire, saisissez 1 dans le champ Header et laissez les autres paramètres tels qu'ils sont.

  5. Cliquez sur le bouton [...] à côté du champ Edit schema pour ouvrir l'éditeur du schéma, ajoutez une colonne que vous nommez dyn dans cet exemple, et sélectionnez Dynamic dans la liste Type. Cliquez sur OK pour fermer la boîte de dialogue [Schema] et propager les modifications.

  6. Cochez la case Customize, saisissez '-' dans le champ Padding char et laissez les autres paramètres tels qu'ils sont.

  7. Double-cliquez sur le tFileOutputPositional pour ouvrir sa vue Basic settings.

  8. Cochez la case Use existing dynamic, spécifiez le chemin d'accès au fichier de sortie et cochez la case Include header.

  9. Dans le champ Padding char, saisissez ' ' afin que les caractères de remplissage soient remplacés par un espace dans le fichier de sortie.

Sauvegarder et exécuter le Job

  1. Appuyez sur les touches Ctrl+S pour sauvegarder votre Job afin que tous les paramètres soient pris en compte.

  2. Appuyez sur F6 ou cliquez sur le bouton Run de l'onglet Run pour exécuter le Job.

    Les données sont lues dans le fichier positionnel d'entrée et écrites dans le fichier positionnel de sortie. Les caractères de remplissage sont remplacés par des espaces.

Le tFileInputPositional dans des Jobs Map/Reduce Talend

Avertissement

Les informations contenues dans cette section concernent uniquement les utilisateurs ayant souscrit à l'une des solutions Big Data de Talend et ne sont pas applicables aux utilisateurs de Talend Open Studio for Big Data.

Dans un Job Map/Reduce Talend, le tFileInputPositional, ainsi que le Job complet utilisant ce composant, génère du code Map/Reduce natif. Cette section présente les propriétés spécifiques du tFileInputPositionallorsqu'il est utilisé dans un Job Map/Reduce. Pour plus d'informations concernant un Job Map/Reduce Talend, consultez le Guide de prise en main de Talend Big Data.

Famille du composant

MapReduce / Input

 

Basic settings

Property type

Peut être Built-in ou Repository.

  

- Built-in : Propriétés utilisées ponctuellement.

  

- Repository : Sélectionnez le fichier dans lequel sont stockées les propriétés du composant.

Les propriétés sont stockées centralement sous le nœud Hadoop Cluster de la vue Repository.

Les champs suivants sont alors pré-remplis à l'aide des données collectées.

Pour plus d'informations concernant le nœud Hadoop Cluster, consultez le Guide de prise en main de Talend Big Data.

 

Schema et Edit Schema

Un schéma est une description de lignes, il définit le nombre de champs (colonnes) qui sont traités et passés au composant suivant. Le schéma est soit local (Built-In), soit distant dans le Repository.

Cliquez sur Edit schema pour modifier le schéma. Si vous effectuez des modifications, le schéma devient automatiquement built-in.

  

Built-In : Le schéma est créé et conservé ponctuellement pour ce composant seulement. Voir également le Guide utilisateur du Studio Talend.

  

Repository : Le schéma existe déjà et il est stocké dans le Repository. Ainsi, il peut être réutilisé. Voir également le Guide utilisateur du Studio Talend.

 

Folder/File

Parcourez votre système ou saisissez le chemin d'accès aux données à utiliser dans le système de fichiers.

Si le chemin d'accès défini pointe vers un dossier, ce composant lit tous les fichiers stockés dans le dossier, par exemple /user/talend/in. Si des sous-dossiers existent, ils sont automatiquement ignorés à moins que le chemin défini soit /user/talend/in/*.

Si vous souhaitez spécifier plusieurs fichiers ou dossiers dans ce champ, séparez les chemins à l'aide d'une virgule (,).

Si le fichier à lire est un fichier compressé, saisissez son nom ainsi que son extension. Ce composant décompresse le fichier automatiquement à l'exécution. Les formats de compression, ainsi que les extensions correspondantes, sont :

  • DEFLATE : *.deflate

  • gzip : *.gz

  • bzip2 : *.bz2

  • LZO : *.lzo

Assurez-vous que la connexion à la distribution Hadoop utilisée est correctement configurée dans l'onglet Hadoop configuration de la vue Run.

 

Die on error

Cochez cette case pour arrêter l'exécution du Job lorsqu'une erreur survient.

Décochez la case pour ignorer les lignes en erreur et terminer le processus avec les lignes sans erreur. Lorsque les erreurs sont ignorées,vous pouvez récupérer les lignes en erreur, si vous le souhaitez. Pour cela, utilisez un lien Row > Reject.

 

Row separator

Saisissez le séparateur à utiliser pour identifier la fin des lignes.

 

Customize

Cochez cette case pour personnaliser le format de données du fichier positionnel et définissez les colonnes de la table :

Column : sélectionnez la colonne à personnaliser.

Size : saisissez la taille de la colonne.

Padding char : saisissez, entre guillemets, le caractère de remplissage à supprimer du champ. Ce caractère est un espace par défaut.

Alignment : sélectionnez le paramètre d'alignement approprié.

 

Pattern

Saisissez entre guillemets les valeurs des longueurs séparées par une virgule, interprétées comme des chaînes de caractères. Assurez-vous que les valeurs saisies dans ce champ sont cohérentes par rapport au schéma défini.

 

Header

Saisissez le nombre de lignes à ignorer au début du fichier.

Saisissez 0 pour ne pas ignorer de ligne dans les données sans en-tête et 1 pour les données dont l'en-tête se trouve dans la première ligne.

 

Skip empty rows

Cochez cette case pour ignorer les lignes vides.

Advanced settings

Custom Encoding

Il est possible de rencontrer des problèmes d'encodage lorsque vous traitez les données stockées. Dans ce cas, cochez cette case pour afficher la liste Encoding.

Sélectionnez l'encodage à utiliser dans la liste ou sélectionnez Custom pour le définir manuellement.

 

Advanced separator (for number)

Cochez cette case pour modifier le séparateur utilisé pour les nombres. Par défaut, le séparateur des milliers est une virgule (,) et le séparateur décimal est un point (.).

 

Trim columns

Cochez cette case pour supprimer les espaces en début et en fin de champ dans les colonnes sélectionnées. Lorsque cette case est cochée, la table Check column to trim est affichée, ce qui vous permet de sélectionner les colonnes desquelles vous souhaitez enlever les espaces en début et en fin de champ.

Global Variables

ERROR_MESSAGE : message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères. Cette variable fonctionne uniquement si la case Die on error est décochée, si le composant a cette option.

Une variable Flow fonctionne durant l'exécution d'un composant. Une variable After fonctionne après l'exécution d'un composant.

Pour renseigner un champ ou une expression à l'aide d'une variable, appuyez sur les touches Ctrl+Espace pour accéder à la liste des variables. A partir de cette liste, vous pouvez choisir la variable que vous souhaitez utiliser.

Pour plus d'informations concernant les variables, consultez le Guide utilisateur du Studio Talend.

Utilisation dans les Jobs Map/Reduce

Dans un Job Talend Map/Reduce, ce composant est utilisé comme composant de début et requiert un composant de transformation comme lien de sortie. Les autres composants utilisés avec lui doivent également être des composants Map/Reduce. Ils génèrent nativement du code Map/Reduce pouvant être directement exécuté dans Hadoop.

Lorsqu'un Job Map/Reduce est ouvert dans l'espace de modélisation graphique, le tFileInputDelimited et la famille MapReduce s'affichent dans la Palette du Studio.

Notez que, dans cette documentation, sauf mention contraire, un scénario présente uniquement des Jobs Standard, c'est-à-dire des Jobs Talend traditionnels d'intégration de données et non des Jobs Map/Reduce.

Hadoop Connection

Vous devez utiliser l'onglet Hadoop Configuration de la vue Run afin de définir la connexion à une distribution Hadoop donnée pour le Job complet.

Cette connexion fonctionne uniquement pour le Job dans lequel vous l'avez définie.

Scénarios associés

Aucun scénario n'est disponible pour la version Map/Reduce de ce composant.

Propriétés du tFileInputPositional dans des Jobs Spark Batch

Avertissement

La version Streaming de ce composant est disponible dans la Palette du studio si vous avez souscrit à Talend Real-time Big Data Platform ou Talend Data Fabric.

Famille du composant

File/Input

 

Basic settings

Define a storage configuration component

Sélectionnez le composant de configuration à utiliser pour fournir les informations de configuration pour la connexion au système de fichiers cible, comme HDFS ou S3.

Si vous laissez cette case décochée, le système de fichiers cible est le système local.

Notez que le composant de configuration à utiliser doit se trouver dans le même Job. Par exemple, si vous avez ajouté un tHDFSConfiguration dans votre Job, vous pouvez le sélectionner pour écrire le résultat dans un système HDFS donné.

 

Property type

Peut être Built-in ou Repository.

  

- Built-in : Propriétés utilisées ponctuellement.

  

- Repository : Sélectionnez le fichier dans lequel sont stockées les propriétés du composant.

Les propriétés sont stockées centralement sous le nœud Hadoop Cluster de la vue Repository.

Les champs suivants sont pré-renseignés avec les données récupérées.

Pour plus d'informations concernant le nœud Hadoop Cluster, consultez le Guide de prise en main de Talend Big Data.

 

Schema et Edit Schema

Un schéma est une description de lignes, il définit le nombre de champs (colonnes) qui sont traités et passés au composant suivant. Le schéma est soit local (Built-In), soit distant dans le Repository.

Cliquez sur Edit schema pour modifier le schéma. Si vous effectuez des modifications, le schéma devient automatiquement built-in.

  

Built-In : Le schéma est créé et conservé ponctuellement pour ce composant seulement. Voir également le Guide utilisateur du Studio Talend.

  

Repository : Le schéma existe déjà et il est stocké dans le Repository. Ainsi, il peut être réutilisé. Voir également le Guide utilisateur du Studio Talend.

 

Folder/File

Parcourez votre système ou saisissez le chemin d'accès aux données à utiliser dans le système de fichiers.

Si le chemin d'accès configuré pointe vers un dossier, le composant lit tous les fichiers stockés dans ce dossier, par exemple /user/talend/in. Si le sous-dossier existe, les sous-dossiers sont automatiquement ignorés, sauf si vous définissez le chemin d'accès comme suit : /user/talend/in/*.

Si vous souhaitez spécifier plus d'un fichier ou répertoire dans ce champ, séparez chaque chemin d'accès par une virgule (,).

Si le fichier à lire est un fichier compressé, saisissez son nom et son extension. Ce composant décompresse automatiquement le fichier lors de l'exécution. Les formats de compression supportés et leur extension sont :

  • DEFLATE : *.deflate

  • gzip : *.gz

  • bzip2 : *.bz2

  • LZO : *.lzo

Assurez-vous d'avoir configuré correctement la connexion dans le composant de configuration sélectionné dans la liste des composants de configuration.

 

Die on error

Cochez cette case pour arrêter l'exécution du Job lorsqu'une erreur survient.

 

Row separator

Saisissez le séparateur à utiliser pour identifier la fin des lignes.

 

Customize

Cochez cette case pour personnaliser le format de données du fichier positionnel et définissez les colonnes de la table :

Column : sélectionnez la colonne à personnaliser.

Size : saisissez la taille de la colonne.

Padding char : saisissez, entre guillemets, le caractère de remplissage à supprimer du champ. Ce caractère est un espace par défaut.

Alignment : sélectionnez le paramètre d'alignement approprié.

 

Pattern

Saisissez entre guillemets les valeurs des longueurs séparées par une virgule, interprétées comme des chaînes de caractères. Assurez-vous que les valeurs saisies dans ce champ sont cohérentes par rapport au schéma défini.

 

Header

Saisissez le nombre de lignes à ignorer au début du fichier.

Saisissez 0 pour ne pas ignorer de ligne dans les données sans en-tête et 1 pour les données dont l'en-tête se trouve dans la première ligne.

 

Skip empty rows

Cochez cette case pour ignorer les lignes vides.

Advanced settings

Custom Encoding

Il est possible de rencontrer des problèmes d'encodage lorsque vous traitez les données stockées. Dans ce cas, cochez cette case pour afficher la liste Encoding.

Sélectionnez l'encodage à partir de la liste ou sélectionnez Custom et définissez-le manuellement.

 

Advanced separator (for number)

Cochez cette case pour modifier le séparateur utilisé pour les nombres. Par défaut, le séparateur des milliers est une virgule (,) et le séparateur décimal est un point (.).

 

Trim columns

Cochez cette case pour supprimer les espaces en début et en fin de champ dans les colonnes sélectionnées. Lorsque cette case est cochée, la table Check column to trim est affichée, ce qui vous permet de sélectionner les colonnes desquelles vous souhaitez enlever les espaces en début et en fin de champ.

Utilisation dans des Jobs Spark Batch

Dans un Job Talend Spark Batch, ce composant est utilisé comme composant de début et requiert un lien de sortie. Les autres composants utilisés avec lui doivent également être des composants Spark Batch. Ils génèrent nativement du code Spark pouvant être directement exécuté dans un cluster Spark.

Ce composant, ainsi que la Palette Spark Batch à laquelle il appartient, ne s'affiche que lorsque vous créez un Job Spark Batch.

Notez que, dans cette documentation, sauf mention contraire, un scénario présente uniquement des Jobs Standard, c'est-à-dire des Jobs Talend traditionnels d'intégration de données.

Log4j

Si vous utilisez une solution Talend soumise à souscription, l'activité de ce composant peut être journalisée avec la fonctionnalité log4j. Pour plus d'informations sur cette fonctionnalité, consultez le Guide utilisateur du Studio Talend.

Pour plus d'informations sur les niveaux de logs du log4j, consultez la documentation d'Apache : http://logging.apache.org/log4j/1.2/apidocs/org/apache/log4j/Level.html (en anglais).

Spark Connection

Vous devez utiliser l'onglet Spark Configuration de la vue Run afin de définir la connexion à un cluster Spark donné pour le Job complet. De plus, puisque le Job attend ses fichiers .jar dépendants pour l'exécution, un (et un seul) composant relatif à un système de fichiers de la famille Storage est requis au sein du même Job, afin que Spark puisse utiliser ce composant pour se connecter au système de fichiers auquel les fichiers .jar dépendants du Job sont transférés :

Cette connexion fonctionne uniquement pour le Job dans lequel vous l'avez définie.

Scénario associé

Aucun scénario n'est disponible pour la version Spark Batch de ce composant.

Propriétés du tFileInputPositional dans des Jobs Spark Streaming

Avertissement

La version Streaming de ce composant est disponible dans la Palette du studio si vous avez souscrit à Talend Real-time Big Data Platform ou Talend Data Fabric.

Famille du composant

File/Input

 

Basic settings

Define a storage configuration component

Sélectionnez le composant de configuration à utiliser pour fournir les informations de configuration pour la connexion au système de fichiers cible, comme HDFS ou S3.

Si vous laissez cette case décochée, le système de fichiers cible est le système local.

Notez que le composant de configuration à utiliser doit se trouver dans le même Job. Par exemple, si vous avez ajouté un tHDFSConfiguration dans votre Job, vous pouvez le sélectionner pour écrire le résultat dans un système HDFS donné.

 

Property type

Peut être Built-in ou Repository.

  

- Built-in : Propriétés utilisées ponctuellement.

  

- Repository : Sélectionnez le fichier dans lequel sont stockées les propriétés du composant.

Les propriétés sont stockées centralement sous le nœud Hadoop Cluster de la vue Repository.

Les champs suivants sont pré-renseignés avec les données récupérées.

Pour plus d'informations concernant le nœud Hadoop Cluster, consultez le Guide de prise en main de Talend Big Data.

 

Schema et Edit Schema

Un schéma est une description de lignes, il définit le nombre de champs (colonnes) qui sont traités et passés au composant suivant. Le schéma est soit local (Built-In), soit distant dans le Repository.

Cliquez sur Edit schema pour modifier le schéma. Si vous effectuez des modifications, le schéma devient automatiquement built-in.

  

Built-In : Le schéma est créé et conservé ponctuellement pour ce composant seulement. Voir également le Guide utilisateur du Studio Talend.

  

Repository : Le schéma existe déjà et il est stocké dans le Repository. Ainsi, il peut être réutilisé. Voir également le Guide utilisateur du Studio Talend.

 

Folder/File

Parcourez votre système ou saisissez le chemin d'accès aux données à utiliser dans le système de fichiers.

Si le chemin d'accès configuré pointe vers un dossier, le composant lit tous les fichiers stockés dans ce dossier, par exemple /user/talend/in. Si le sous-dossier existe, les sous-dossiers sont automatiquement ignorés, sauf si vous définissez le chemin d'accès comme suit : /user/talend/in/*.

Si vous souhaitez spécifier plus d'un fichier ou répertoire dans ce champ, séparez chaque chemin d'accès par une virgule (,).

Si le fichier à lire est un fichier compressé, saisissez son nom et son extension. Ce composant décompresse automatiquement le fichier lors de l'exécution. Les formats de compression supportés et leur extension sont :

  • DEFLATE : *.deflate

  • gzip : *.gz

  • bzip2 : *.bz2

  • LZO : *.lzo

Assurez-vous d'avoir configuré correctement la connexion dans le composant de configuration sélectionné dans la liste des composants de configuration.

 

Die on error

Cochez cette case pour arrêter l'exécution du Job lorsqu'une erreur survient.

 

Row separator

Saisissez le séparateur à utiliser pour identifier la fin des lignes.

 

Customize

Cochez cette case pour personnaliser le format de données du fichier positionnel et définissez les colonnes de la table :

Column : sélectionnez la colonne à personnaliser.

Size : saisissez la taille de la colonne.

Padding char : saisissez, entre guillemets, le caractère de remplissage à supprimer du champ. Ce caractère est un espace par défaut.

Alignment : sélectionnez le paramètre d'alignement approprié.

 

Pattern

Saisissez entre guillemets les valeurs des longueurs séparées par une virgule, interprétées comme des chaînes de caractères. Assurez-vous que les valeurs saisies dans ce champ sont cohérentes par rapport au schéma défini.

 

Header

Saisissez le nombre de lignes à ignorer au début du fichier.

Saisissez 0 pour ne pas ignorer de ligne dans les données sans en-tête et 1 pour les données dont l'en-tête se trouve dans la première ligne.

 

Skip empty rows

Cochez cette case pour ignorer les lignes vides.

Advanced settings

Custom Encoding

Il est possible de rencontrer des problèmes d'encodage lorsque vous traitez les données stockées. Dans ce cas, cochez cette case pour afficher la liste Encoding.

Sélectionnez l'encodage à partir de la liste ou sélectionnez Custom et définissez-le manuellement.

 

Advanced separator (for number)

Cochez cette case pour modifier le séparateur utilisé pour les nombres. Par défaut, le séparateur des milliers est une virgule (,) et le séparateur décimal est un point (.).

 

Trim columns

Cochez cette case pour supprimer les espaces en début et en fin de champ dans les colonnes sélectionnées. Lorsque cette case est cochée, la table Check column to trim est affichée, ce qui vous permet de sélectionner les colonnes desquelles vous souhaitez enlever les espaces en début et en fin de champ.

Utilisation dans des Jobs Spark Streaming

Dans un Job Talend Spark Streaming, il est utilisé en tant que composant d'entrée et nécessite un lien de sortie. Les autres composants utilisés avec celui-ci doivent également être des composants Spark Streaming. Ils génèrent nativement du code Spark pouvant être exécuté directement dans un cluster Spark.

Ce composant est utilisé uniquement pour fournir un flux Lookup (le côté droit d'une opération de jointure) au flux principal d'un composant tMap. Dans cette situation, le modèle de lookup utilisé par ce tMap doit être Load once.

Ce composant, ainsi que les composants Spark Streaming de la Palette à laquelle il appartient, s'affichent uniquement lorsque vous créez un Job Spark Streaming.

Notez que, dans cette documentation, sauf mention contraire , un scénario présente uniquement des Jobs de type Standard, c'est-à-dire des Jobs Talend traditionnels d'intégration de données.

Log4j

Si vous utilisez une solution Talend soumise à souscription, l'activité de ce composant peut être journalisée avec la fonctionnalité log4j. Pour plus d'informations sur cette fonctionnalité, consultez le Guide utilisateur du Studio Talend.

Pour plus d'informations sur les niveaux de logs du log4j, consultez la documentation d'Apache : http://logging.apache.org/log4j/1.2/apidocs/org/apache/log4j/Level.html (en anglais).

Spark Connection

Vous devez utiliser l'onglet Spark Configuration de la vue Run afin de définir la connexion à un cluster Spark donné pour le Job complet. De plus, puisque le Job attend ses fichiers .jar dépendants pour l'exécution, un (et un seul) composant relatif à un système de fichiers de la famille Storage est requis au sein du même Job, afin que Spark puisse utiliser ce composant pour se connecter au système de fichiers auquel les fichiers .jar dépendants du Job sont transférés :

Cette connexion fonctionne uniquement pour le Job dans lequel vous l'avez définie.

Scénario associé

Aucun scénario n'est disponible pour la version Spark Streaming de ce composant.