Propriétés du tMap dans des Jobs Spark Batch - 6.1

Composants Talend Guide de référence

EnrichVersion
6.1
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for Data Quality
Talend Open Studio for ESB
Talend Open Studio for MDM
Talend Real-Time Big Data Platform
task
Création et développement
Gouvernance de données
Qualité et préparation de données
EnrichPlatform
Studio Talend

Famille du composant

Processing

 

Basic settings

Map editor

Le Mapper est l'éditeur du tMap. Il vous permet de définir les propriétés d'aiguillage et de transformation des données. Cependant, notez que seul le modèle de lookup Load once est supporté par les Jobs Spark Batch.

Pour plus d'informations concernant ce modèle de lookup, consultez https://help.talend.com/display/KB/tMap+lookup+models (en anglais).

Lorsque vous cliquez sur le bouton Property Settings en haut de la zone d'entrée, la boîte de dialogue [Property Settings] s'ouvre. Vous pouvez y configurer les paramètres suivants :

  • Si vous ne souhaitez pas gérer les erreurs d'exécution, cochez la case Die on error (cochée par défaut). En cas d'erreur, le Job est arrêté.

  • Afin de maximiser les performances des transformations de données dans un Job gérant plusieurs plus d'entrée ou de référence (lookup) contenant de larges volumes de données, vous pouvez cocher la case Lookup in parallel.

  • Temp data directory path : saisissez le chemin d'accès à l'emplacement dans lequel vous souhaitez stocker les données temporaires générées pour le chargement du lookup. Pour plus d'informations concernant ce dossier, consultez le Guide utilisateur du Studio Talend.

  • Max buffer size (nb of rows) : saisissez la taille de la mémoire physique, en nombre de lignes, que vous souhaitez allouer aux données traitées.

 

Mapping links display as

Auto : par défaut, les liens sont en forme de courbes.

Curves : les liens du mapping sont en forme de courbes.

Lines : les liens du mapping sont en forme de lignes droites. Cette dernière option améliore légèrement les performances.

Preview

L'aperçu est un instantané des données du Mapper. Il n'est visible que lorsque les propriétés du Mapper sont renseignées. La synchronisation de l'aperçu ne prend effet qu'après la sauvegarde des modifications.

 

Use replicated join

Cochez cette case pour effectuer une jointure répliquée entre les flux d'entrée. En répliquant chaque table Lookup dans la mémoire, ce type de jointure ne requiert pas d'étape supplémentaire de shuffle-and-sort, ce qui accélère le processus.

Vous devez vous assurer que la mémoire contient assez d'espace pour contenir toutes les tables Lookup.

Max buffer size (nb of rows)

Saisissez la taille de la mémoire physique, en nombre de lignes, que vous souhaitez allouer aux données traitées.

Utilisation dans des Jobs Spark Batch

Dans un Job Talend Spark Batch, il est utilisé comme étape intermédiaire, avec d'autres composants Spark Batch. Ils génèrent nativement du code Spark pouvant être exécuté directement dans un cluster Spark.

Ce composant, ainsi que la Palette Spark Batch à laquelle il appartient, ne s'affiche que lorsque vous créez un Job Spark Batch.

Notez que, dans cette documentation, sauf mention contraire, un scénario présente uniquement des Jobs Standard, c'est-à-dire des Jobs Talend traditionnels d'intégration de données.

Spark Connection

Vous devez utiliser l'onglet Spark Configuration de la vue Run afin de définir la connexion à un cluster Spark donné pour le Job complet. De plus, puisque le Job attend ses fichiers .jar dépendants pour l'exécution, un (et un seul) composant relatif à un système de fichiers de la famille Storage est requis au sein du même Job, afin que Spark puisse utiliser ce composant pour se connecter au système de fichiers auquel les fichiers .jar dépendants du Job sont transférés :

Cette connexion fonctionne uniquement pour le Job dans lequel vous l'avez définie.

Log4j

Si vous utilisez une solution Talend soumise à souscription, l'activité de ce composant peut être journalisée avec la fonctionnalité log4j. Pour plus d'informations sur cette fonctionnalité, consultez le Guide utilisateur du Studio Talend.

Pour plus d'informations sur les niveaux de logs du log4j, consultez la documentation d'Apache : http://logging.apache.org/log4j/1.2/apidocs/org/apache/log4j/Level.html (en anglais).