Ces propriétés sont utilisées pour configurer le tCacheClear s'exécutant dans le framework de Jobs Spark Batch.
Le composant tCacheClear Spark Batch appartient à la famille Traitement.
Le composant de ce framework est disponible dans tous les produits Talend avec Big Data nécessitant une souscription et dans Talend Data Fabric.
Basic settings
|
Output cache |
Sélectionnez le composant tCacheOut duquel le tCacheIn va lire le cache RDD. |
Variables globales
|
ERROR_MESSAGE |
Message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères. |
Utilisation
|
Règle d'utilisation |
Ce composant est utilisé en tant que composant de début et nécessite un lien de sortie. Ce composant est utilisé avec le tCacheOut. De manière itérative, le tCacheOut stocke des données d'entrée en cache, afin que le tCacheIn lise le cache sans avoir à calculer à nouveau le modèle Spark DAG (Directed Acyclic Graph, le modèle utilisé par Spark pour ordonnancer les actions Spark). Le composant tCacheClear supprime les données stockées dans le cache de la mémoire lorsqu'elles ne sont plus utiles. Ce composant, ainsi que la Palette Spark Batch à laquelle il appartient, ne s'affiche que lorsque vous créez un Job Spark Batch. Notez que, dans cette documentation, sauf mention contraire, un scénario présente uniquement des Jobs Standard, c'est-à-dire des Jobs Talend traditionnels d'intégration de données. |