Fonctionnement d'un Job Talend Spark - Cloud - 7.3

Guide d'utilisation du Studio Talend

Version
Cloud
7.3
Language
Français
Product
Talend Big Data
Talend Big Data Platform
Talend Cloud
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Studio Talend
Content
Création et développement
Last publication date
2023-09-13
Disponible dans...

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

Avec les composants spécifiques Spark, un Job Talend Spark utilise le framework Spark pour traiter les RDD (Resilient Distributed Datasets) sur un cluster Spark donné.

Disponible dans :

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

Selon le framework que vous sélectionnez pour le Job Spark que vous créez, ce Job Talend Spark implémente le framework Spark Streaming ou le framework Spark lors de son exécution.

Un Job Talend Spark peut être exécuté dans l'un des modes suivants :

  • Local : le Studio Talend construit l'environnement Spark en lui-même au moment de l'exécution locale du Job dans le Studio. Avec ce mode, chaque processeur de la machine locale est utilisé comme Worker Spark pour effectuer les calculs. Ce mode requiert la configuration d'un minimum de paramètres dans la vue de configuration.

    Notez que cette machine locale est la machine sur laquelle s'exécute le Job.

  • Standalone : le Studio Talend se connecte à un cluster compatible Spark pour exécuter le Job depuis ce cluster.