Propriétés du tHMapRecord pour Apache Spark Streaming - Cloud - 8.0

Data mapping

Version
Cloud
8.0
Language
Français
Product
Talend Big Data Platform
Talend Data Fabric
Talend Data Management Platform
Talend Data Services Platform
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Studio Talend
Content
Création et développement > Systèmes tiers > Composants Processing (Intégration) > Mapping de données
Gouvernance de données > Systèmes tiers > Composants Processing (Intégration) > Mapping de données
Qualité et préparation de données > Systèmes tiers > Composants Processing (Intégration) > Mapping de données
Last publication date
2024-04-02

Ces propriétés sont utilisées pour configurer le tHMapRecord s'exécutant dans le framework de Jobs Spark Streaming.

Le composant tHMapRecord Spark Streaming appartient à la famille Processus en cours.

Le composant de ce framework est disponible dans Talend Real-Time Big Data Platform et Talend Data Fabric.

Basic settings

Storage

Pour vous connecter à une installation HDFS, cochez la case Define a storage configuration component et sélectionnez le nom du composant à utiliser, parmi ceux disponibles dans la liste déroulante.

Cette option nécessite d'avoir précédemment configuré la connexion à l'installation HDFS à utiliser, comme décrit dans la documentation du composant tHDFSConfiguration.

Si vous laissez la case Define a storage configuration component décochée, vous pouvez convertir les fichiers seulement en local.

Open Map Editor

Cliquez sur le bouton [...] pour ouvrir l'assistant Structure Generate/Select.

Vous pouvez d'abord sélectionner le type de map à créer :
  • Standard Map : Les maps standards effectuent des mappings à l'aide de fonctions basées sur xQuery.
  • DSQL Map : Les maps DSQL effectuent des mappings à l'aide de Data Shaping Query Language.
Vous pouvez cocher la case Don't ask me again pour enregistrer cette préférence. Pour plus d'informations concernant ces types de maps, consultez Utilisation de maps.
Remarque : Cette option est disponible uniquement si vous avez installé la mise à jour mensuelle R2023-10 du Studio ou une mise à jour plus récente fournie par Talend. Pour plus d'informations, contactez votre administrateur ou administratrice.

Vous pouvez ensuite obtenir une structure de mappeur hiérarchique générée automatiquement à partir du schéma ou sélectionner une structure de mappeur hiérarchique existante. Vous devez effectuer cette action pour l'entrée et la sortie de mapping. Voici les différentes options pour la structure de sortie :

  • Option Generate hierarchial mapper structure based on the schema : lorsque le tHMap a plusieurs liens de sortie, la page affiche un message de confirmation vous informant que les structures de l'éditeur de mapping sont générées selon les liens de sortie.
  • Option Select an existing hierarchical mapper structure : vous pouvez relier plusieurs sorties basées sur le payload au tHMap. S'il n'y a qu'une seule connexion de type payload, vous pouvez cocher la case Allow support for multiple output connections. Le mapping de sortie généré hérite de la structure du payload existante.

Si le Studio Talend détecte plusieurs liens de sortie disponibles, la fenêtre affiche les différentes options de structure de sortie mais pas la case Allow support for multiple output connections.

S'il n'existe aucun lien d'entrée ou de sortie, la page Structure Selection s'ouvre.

Synchronize map with schema connections

Cochez cette case si vous souhaitez générer à nouveau automatiquement vos structures d'entrée et de sortie de map après modification de l'une d'entre elles :
  • Modification de la métadonnées de connexion
  • Connexion d'entrée ou de sortie ajoutée
  • Connexion d'entrée ou de sortie supprimée
Aucune modification n'est détectée lorsqu'une connexion est activée ou désactivée.
Si cette case est cochée, la map est automatiquement synchronisée lorsqu'elle est ouverte à partir du composant, après une modification. Sinon, une boîte de dialogue s'ouvre et vous propose de synchroniser.
Remarque : Pour les structures avec plusieurs connexions, la map peut uniquement être synchronisée si les structures ont été créées de la même manière que celles générées par l'assistant de configuration du composant. Par exemple, les maps d'aplatissement avec plusieurs sorties ne peuvent être synchronisées.
Map Path

Cliquez sur [...] pour sélectionner une map existante. La fenêtre s'affiche dans un assistant vous permettant de sélectionner une map depuis la vue Hierarchical Mapper de Talend Data Mapper.

Die on error

Cochez cette case pour arrêter l'exécution du Job lorsqu'une erreur survient.

Décochez la case pour ignorer les lignes en erreur et terminer le processus.

Advanced settings

Use old Eclipse runtime

Cochez cette case pour inclure l'ancien environnement d'exécution Eclipse dans votre Job.
Remarque : Cette option est disponible uniquement si vous avez installé la mise à jour mensuelle R2024-03 du Studio Talend ou une mise à jour plus récente fournie par Talend. Pour plus d'informations, contactez votre administrateur ou administratrice.

Utilisation

Règle d'utilisation Ce composant est utilisé avec le tHDFSConfiguration, définissant la connexion au stockage HDFS, ou en tant que composant standalone pour mapper des fichiers locaux uniquement.
Fonctionnalité glisser-déposer Si vous avez une map tHMapRecord existante dans la vue Data Mapping, vous pouvez glisser-déposer facilement la map :
  • Lorsque vous glissez puis déposez la map tHMapRecord dans l'espace de travail, le composant tHMapRecord est automatiquement créé.
  • Lorsque vous glissez puis déposez la map tHMapRecord dans le composant tHMapRecord existant, le libellé et la référence de la map du composant sont automatiquement mis à jour.
Utilisation avec Talend Runtime Si vous souhaitez déployer un Job ou une Route contenant un composant de mapping de données avec Talend Runtime, vous devez d'abord installer la fonctionnalité Talend Data Mapper. Pour plus d'informations, consultez Utiliser Talend Data Mapper avec Talend Runtime.