Fonctionnement d'un Job Talend Spark - 8.0

Guide d'utilisation de Talend Big Data Platform Studio

Version
8.0
Language
Français (France)
EnrichDitaval
Big Data Platform
Product
Talend Big Data Platform
Module
Studio Talend
Content
Création et développement
Avec les composants spécifiques Spark, un Job Talend Spark utilise le framework Spark pour traiter les RDD (Resilient Distributed Datasets) sur un cluster Spark donné.

Un Job Talend Spark peut être exécuté dans l'un des modes suivants :

  • Local : le Studio construit l'environnement Spark en lui-même au moment de l'exécution locale du Job dans le Studio. Avec ce mode, chaque processeur de la machine locale est utilisé comme Worker Spark pour effectuer les calculs. Ce mode requiert la configuration d'un minimum de paramètres dans la vue de configuration.

    Notez que cette machine locale est la machine sur laquelle s'exécute le Job.

  • Standalone : le Studio se connecte à un cluster compatible Spark pour exécuter le Job depuis ce cluster.