Fonctionnement d'un Job Talend Spark - 7.1

Guide utilisateur de Talend Data Fabric Studio

EnrichVersion
7.1
EnrichProdName
Talend Data Fabric
EnrichPlatform
Studio Talend
task
Création et développement
Avec les composants spécifiques Spark, un Job Talend Spark utilise le framework Spark pour traiter les RDD (Resilient Distributed Datasets) sur un cluster Spark donné.

Selon le framework que vous sélectionnez pour le Job Spark que vous créez, ce Job Talend Spark implémente le framework Spark Streaming ou le framework Spark lors de son exécution.

Un Job Talend Spark peut être exécuté dans l'un des modes suivants :

  • Local : le Studio construit l'environnement Spark en lui-même au moment de l'exécution locale du Job dans le Studio. Avec ce mode, chaque processeur de la machine locale est utilisé comme Worker Spark pour effectuer les calculs. Ce mode requiert la configuration d'un minimum de paramètres dans la vue de configuration.

    Notez que cette machine locale est la machine sur laquelle s'exécute le Job.

  • Standalone : le Studio se connecte à un cluster compatible Spark pour exécuter le Job depuis ce cluster.