Stocker le résultat du flux d'entrée dans un emplacement temporaire - Cloud - 8.0

Technique

Version
Cloud
8.0
Language
Français
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for Data Quality
Talend Open Studio for ESB
Talend Real-Time Big Data Platform
Module
Studio Talend
Content
Création et développement > Systèmes tiers > Composants Technical
Gouvernance de données > Systèmes tiers > Composants Technical
Qualité et préparation de données > Systèmes tiers > Composants Technical

Dans ce Job, les résultats du flux d'entrée sont stockés dans un emplacement temporaire (soit dans un fichier, soit en mémoire (cache)) afin de réduire le temps de traitement lors du traitement de jeux de données volumineux ou si votre flux de données est complexe.

Ce Job va contenir les composants suivants :

  • un tFileInputDelimited, un tReplicate et deux tMap pour créer deux flux d'entrée.
  • deux tHashOutput et deux tHashinput pour stocker et utiliser les résultats d'un emplacement temporaire.
  • un troisième tMap et un tLogRow pour afficher les résultats dans la console.

Procédure

  1. Créez deux flux d'entrée comme ci-dessus en ajoutant un tFileInputDelimited, un Replicate, un tMap et un tHashOutput dans l'espace de mdélisation graphique. Reliez ces composants par des liens Row > Main.
    Remarque : Les composants tHashInput et tHashOutput appartiennent à la famille Technique (Technical) et sont masqués par défaut.

    Pour plus d'informations concernant l'utilisation de ces composants, consultez l'article Où trouver les composants tHashInput et tHashOutput sur Talend Help Center (https://help.talend.com).

  2. Utilisez deux tFileOutputDelimited ou deux tHashOutput pour stocker les résultats depuis le tMap_1 ou le tMap_2.
  3. Lisez les données dans le sous-Job suivant, depuis le fichier temporaire, à l'aide d'un composant tFileInputDelimited ou depuis la mémoire, à l'aide d'un composant tHashInput. Le Job d'exemple ci-dessus met les résultats en cache dans la mémoire.
  4. Dans la vue Basic settings du tHashIntput_1, sélectionnez tHashOutput_1 dans la liste déroulante Component list.

    Cette configuration relie le tHashInput_1 au tHashOutput_1.

    Conseil : Le tHashOutput_1 est utilisé pour mettre le résultat en cache depuis le tMap_1 dans la mémoire. Le tHashOutput_2 est utilisé pour mettre en cache le résultat depuis le tMap_2 dans la mémoire. Pour que les données puissent être récupérées depuis la mémoire, le composant tHashInput_1 doit être relié au tHashOutput_1 et le tHashInput_2 au tHashOuput_2, respectivement.
  5. Dans la vue Basic settings du tHashInput_2, sélectionnez tHashOutput_2 dans la liste déroulante Component list.

    Cette configuration relie le tHashInput_2 au tHashOutput_2.

  6. Lisez les données dans le sous-Job suivant, depuis le fichier temporaire, à l'aide d'un composant tFileInputDelimited ou depuis la mémoire, à l'aide d'un composant tHashInput. Le Job d'exemple ci-dessus met les résultats en cache dans la mémoire.