Propriétés du tHMapInput pour Apache Spark Batch - 7.1

Cliquez sur le bouton Select à côté du champ Record structure et, dans la boîte de dialogue Select a Structure qui s'ouvre, sélectionnez le mapping à utiliser, puis cliquez sur OK.

Cette structure doit avoir été précédemment créée dans Talend Data Mapper .

Sélectionnez dans la liste la représentation Input Representation à utiliser.

Les formats d'entrée supportés sont Avro, COBOL, EDI, Flat, IDocs, JSON et XML.

Cliquez sur Next.

Précisez au composant où chaque nouvel enregistrement commence. Pour ce faire, vous devez comprendre la structure de vos données.

La manière dont vous procédez dépend de la représentation d'entrée utilisée. L'une des options suivantes vous est présentée.

1. Sélectionnez un séparateur d'enregistrements pour vos données. Notez que vous devez spécifier cette valeur sans guillemet.

   • Separator vous permet de spécifier un indicateur de séparateur, comme \n, pour identifier une nouvelle ligne.

     Les indicateurs sont \n pour une ligne de type Unix, \r\n pour Windows et \r pour Mac et \t pour les tabulations.

   • Start/End with vous permet de spécifier les caractères initiaux indiquant un nouvel enregistrement, comme <root, ou les caractères qui indiquent la fin d'un enregistrement.

     Start with supporte également les nouvelles lignes, avec \n pour une ligne de type Unix, \r\n pour Windows et \r pour Mac, ainsi que \t pour les tabulations.

     Cochez la case Regular Expression si vous souhaitez saisir une expression régulière correspondant au début d'un enregistrement. Lorsque vous sélectionnez XML ou JSON, cette case est cochée par défaut et une expression régulière pré-configurée est fournie.

   • Sample File : pour tester la signature avec un fichier d'exemple, cliquez sur le bouton [...], parcourez votre système jusqu'au fichier que vous souhaitez utiliser en tant qu'exemple, cliquez sur Open, puis cliquez sur Run pour tester votre exemple.

     Tester la signature vous permet de vérifier que le nombre total d'enregistrements et leurs longueur minimale et maximale correspondent à ce que vous attendez, sur la connaissance de vos données. Cette étape requiert que vous ayez un sous-ensemble local de vos données à utiliser en exemple.

   • Cliquez sur Finish.

2. Si votre représentation d'entrée est COBOL ou plate avec des propriétés d'encodage positionnel et/ou binaire, définissez la signature pour la structure de l'enregistrement d'entrée :

   • Input Record correspond à l'élément racine de votre enregistrement d'entrée.

   • Minimum Record Size correspond à la taille en octets de l'enregistrement le plus petit. Si vous configurez une valeur trop petite, vous pouvez rencontrer des problèmes de performance, puisque le composant va effectuer plus de vérifications que nécessaire lors de la recherche d'un nouvel enregistrement.

   • Maximum Record Size correspond à la taille en octets de l'enregistrement le plus grand et utilisé pour déterminer combien de mémoire est allouée à la lecture de l'entrée.

   • Sample from Workspace ou Sample from File System : pour tester la signature avec un fichier d'exemple, cliquez sur le bouton [...], puis parcourez votre système ou votre espace de travail jusqu'au fichier que vous souhaitez utiliser en tant qu'exemple.

     Tester la signature vous permet de vérifier que le nombre total d'enregistrements et leurs longueur minimale et maximale correspondent à ce que vous attendez, sur la connaissance de vos données. Cette étape requiert que vous ayez un sous-ensemble local de vos données à utiliser en exemple.

   • Footer Size correspond à la taille en octets du pied de page, s'il y en a un. Lors de l'exécution, le pied de page sera ignoré, au lieu d'être inclus par erreur dans le dernier enregistrement. Laissez ce champ vide s'il n'y a pas de pied de page.

   • Cliquez sur le bouton Next pour ouvrir la fenêtre Signature Parameters, sélectionnez les champs définissant la signature de la structure de votre enregistrement d'entrée (pour identifier où commence un nouvel enregistrement), mettez à jour les colonnes Operation et Value selon vos besoins, puis cliquez sur Next.

   • Dans la fenêtre Record Signature Test qui s'ouvre, vérifiez que vos enregistrements sont correctement délimités en navigant parmi eux, à l'aide des boutons Back et Next et en effectuant une vérification visuelle, puis cliquez sur Finish.

Mappez les éléments de la structure d'entrée à la structure de sortie dans le nouveau mapping qui s'ouvre, puis appuyez que les touches Ctrl+S afin de sauvegarder le mapping.

Pour plus d'informations concernant la création des mappings, consultez le Guide Talend Data Mapper User Guide (en anglais).