Définir les détails de connexion Spark Universal dans la vue Spark Configuration (Configuration de Spark) - Cloud - 8.0

Guide d'utilisation du Studio Talend

Version
Cloud
8.0
Language
Français
Product
Talend Big Data
Talend Big Data Platform
Talend Cloud
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Studio Talend
Content
Création et développement
Last publication date
2024-03-06
Disponible dans...

Big Data

Big Data Platform

Cloud Big Data

Cloud Big Data Platform

Cloud Data Fabric

Data Fabric

Real-Time Big Data Platform

Configurez la connexion Spark Universal dans l'onglet Spark configuration de la vue Run de votre Job. Cette connexion fonctionne uniquement pour le Job dans lequel vous l'avez définie.

Le Studio Talend vous permet d'exécuter vos Jobs Spark sur une distribution Spark Universal dans l'un des modes et environnements suivants :
Mode ou environnement Description
Cloudera Data Engineering Le Studio Talend soumet les Jobs et en collecte les informations d'exécution depuis le service Cloudera Data Engineering.

Pour plus d'informations, consultez Définir les paramètres de connexion à Cloudera Data Engineering avec Spark Universal.

Databricks Le Studio Talend soumet les Jobs et en collecte les informations d'exécution depuis Databricks. Le pilote Spark s'exécute sur un cluster de jobs Databricks ou sur un cluster universel Databricks sur GCP, AWS ou Azure.

Pour plus d'informations, consultez Définir les paramètres de connexion à Databricks avec Spark Universal.

Dataproc Le Studio Talend soumet les Jobs et en collecte les informations d'exécution depuis Dataproc.

Pour plus d'informations, consultez Définir les paramètres de connexion à Dataproc avec Spark Universal.

Kubernetes Le Studio Talend soumet les Jobs et en collecte les informations d'exécution depuis Kubernetes. Le pilote Spark s'exécute sur le cluster géré par Kubernetes et peut s'exécuter indépendamment de votre Studio Talend.

Pour plus d'informations, consultez Définir les paramètres de connexion à Kubernetes avec Spark Universal.

local Le Studio Talend construit l'environnement Spark en lui-même au moment de l'exécution locale du Job dans le Studio Talend. Avec ce mode, chaque processeur de la machine locale est utilisé comme Worker Spark pour effectuer les calculs.

Pour plus d'informations, consultez Définir les paramètres de connexion locale avec Spark Universal.

Spark-submit scripts (Scripts Spark-submit) Le Studio Talend soumet des Jobs et collecte les informations d'exécution de vos Jobs depuis YARN et ApplicationMaster de votre cluster, par exemple un cluster HPE Data Fabric. Le pilote Spark s'exécute sur le cluster et peut s'exécuter indépendamment de votre Studio Talend.

Pour plus d'informations, consultez Définir les paramètres de connexion des scripts Spark-submit avec Spark Universal.

Standalone Le Studio Talend se connecte à un cluster configuré pour Spark afin d'exécuter le Job depuis ce cluster.

Pour plus d'informations, consultez Définir les paramètres de connexion standalone avec Spark Universal.

Synapse Le Studio Talend soumet les Jobs et en collecte les informations d'exécution depuis Azure Synapse Analytics.

Pour plus d'informations, consultez Définir les paramètres de connexion Azure Synapse Analytics avec Spark Universal.

Yarn cluster Le Studio Talend soumet des Jobs et collecte les informations d'exécution de vos Jobs depuis YARN et ApplicationMaster. Le pilote Spark s'exécute sur le cluster et peut s'exécuter indépendamment de votre Studio Talend.

Pour plus d'informations, consultez Définir les paramètres de connexion au cluster YARN avec Spark Universal.