Propriétés du tCacheClear pour Apache Spark Batch - Cloud - 8.0

Traitement (Processing) (Intégration)

Version
Cloud
8.0
Language
Français
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Studio Talend
Content
Création et développement > Systèmes tiers > Composants Processing (Intégration)
Gouvernance de données > Systèmes tiers > Composants Processing (Intégration)
Qualité et préparation de données > Systèmes tiers > Composants Processing (Intégration)
Last publication date
2024-03-05

Ces propriétés sont utilisées pour configurer le tCacheClear s'exécutant dans le framework de Jobs Spark Batch.

Le composant tCacheClear Spark Batch appartient à la famille Processus en cours.

Le composant de ce framework est disponible dans tous les produits Talend avec Big Data nécessitant une souscription et dans Talend Data Fabric.

Basic settings

Output cache

Sélectionnez le composant tCacheOut duquel le tCacheIn va lire le cache RDD.

Variables globales

ERROR_MESSAGE

Message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères.

Utilisation

Règle d'utilisation

Ce composant est utilisé en tant que composant de début et nécessite un lien de sortie.

Ce composant est utilisé avec le tCacheOut. De manière itérative, le tCacheOut stocke des données d'entrée en cache, afin que le tCacheIn lise le cache sans avoir à calculer à nouveau le modèle Spark DAG (Directed Acyclic Graph, le modèle utilisé par Spark pour ordonnancer les actions Spark).

Le composant tCacheClear supprime les données stockées dans le cache de la mémoire lorsqu'elles ne sont plus utiles.

Ce composant, ainsi que la Palette Spark Batch à laquelle il appartient, ne s'affiche que lorsque vous créez un Job Spark Batch.

Notez que, dans cette documentation, sauf mention contraire, un scénario présente uniquement des Jobs Standard, c'est-à-dire des Jobs Talend traditionnels d'intégration de données.