Stocker le résultat du flux d'entrée dans un emplacement temporaire - Cloud

Dans ce Job, les résultats du flux d'entrée sont stockés dans un emplacement temporaire (soit dans un fichier, soit en mémoire (cache)) afin de réduire le temps de traitement lors du traitement de jeux de données volumineux ou si votre flux de données est complexe.

Ce Job va contenir les composants suivants :

un tFileInputDelimited, un tReplicate et deux tMap pour créer deux flux d'entrée.
deux tHashOutput et deux tHashinput pour stocker et utiliser les résultats d'un emplacement temporaire.
un troisième tMap et un tLogRow pour afficher les résultats dans la console.

Procédure

Créez deux flux d'entrée comme ci-dessus en ajoutant un tFileInputDelimited, un Replicate, un tMap et un tHashOutput dans l'espace de mdélisation graphique. Reliez ces composants par des liens Row > Main.

Remarque : Les composants tHashInput et tHashOutput appartiennent à la famille Technique (Technical) et sont masqués par défaut. Pour plus d'informations, consultez Où trouver les composants tHashInput et tHashOutput.
Utilisez deux tFileOutputDelimited ou deux tHashOutput pour stocker les résultats depuis le tMap_1 ou le tMap_2.
Lisez les données dans le sous-Job suivant, depuis le fichier temporaire, à l'aide d'un composant tFileInputDelimited ou depuis la mémoire, à l'aide d'un composant tHashInput. Le Job d'exemple ci-dessus met les résultats en cache dans la mémoire.
Dans la vue Basic settings du tHashIntput_1, sélectionnez tHashOutput_1 dans la liste déroulante Component list.

Cette configuration relie le tHashInput_1 au tHashOutput_1.

Conseil : Le tHashOutput_1 est utilisé pour mettre le résultat en cache depuis le tMap_1 dans la mémoire. Le tHashOutput_2 est utilisé pour mettre en cache le résultat depuis le tMap_2 dans la mémoire. Pour que les données puissent être récupérées depuis la mémoire, le composant tHashInput_1 doit être relié au tHashOutput_1 et le tHashInput_2 au tHashOuput_2, respectivement.
Dans la vue Basic settings du tHashInput_2, sélectionnez tHashOutput_2 dans la liste déroulante Component list.

Cette configuration relie le tHashInput_2 au tHashOutput_2.
Lisez les données dans le sous-Job suivant, depuis le fichier temporaire, à l'aide d'un composant tFileInputDelimited ou depuis la mémoire, à l'aide d'un composant tHashInput. Le Job d'exemple ci-dessus met les résultats en cache dans la mémoire.