Définir les détails de connexion Spark Universal dans la vue Spark Configuration (Configuration de Spark) - 8.0

Guide d'utilisation de Talend Big Data Platform Studio

Version
8.0
Language
Français (France)
EnrichDitaval
Big Data Platform
Product
Talend Big Data Platform
Module
Studio Talend
Content
Création et développement

Configurez la connexion Spark Universal dans l'onglet Spark configuration de la vue Run de votre Job. Cette connexion fonctionne uniquement pour le Job dans lequel vous l'avez définie.

Les informations contenues dans cette section concernent uniquement les utilisateurs et utilisatrices ayant souscrit à Talend Data Fabric ou à un produit Big Data de Talend, et ne sont pas applicables aux utilisateurs et utilisatrices de Talend Open Studio for Big Data.

Le Studio Talend vous permet d'exécuter vos Jobs Spark sur une distribution Spark Universal dans l'un des modes et environnements suivants :
Cloudera Data Engineering Le Studio soumet les Jobs et en collecte les informations d'exécution depuis le service Cloudera Data Engineering.

Pour plus d'informations, consultez Définir les paramètres de connexion à Cloudera Data Engineering avec Spark Universal.

Databricks Le Studio soumet des Jobs et collecte les informations d'exécution de votre Job depuis Databricks. Le pilote Spark s'exécute sur un cluster Databricks transitoire ou sur un cluster Databricks interactif sur GCP, AWS ou Azure.

Pour plus d'informations, consultez Définir les paramètres de connexion à Databricks avec Spark Universal.

Dataproc Le Studio soumet des Jobs et collecte les informations d'exécution de votre Job depuis Dataproc.

Pour plus d'informations, consultez Définir les paramètres de connexion à Dataproc avec Spark Universal.

Kubernetes Le Studio soumet des Jobs et collecte les informations d'exécution de votre Job depuis Kubernetes. Le pilote Spark s'exécute sur le cluster géré par Kubernetes et peut s'exécuter indépendamment de votre Studio.

Pour plus d'informations, consultez Définir les paramètres de connexion à Kubernetes avec Spark Universal.

local Le Studio construit l'environnement Spark en lui-même au moment de l'exécution locale du Job dans le Studio. Avec ce mode, chaque processeur de la machine locale est utilisé comme Worker Spark pour effectuer les calculs.

Pour plus d'informations, consultez Définir les paramètres de connexion locale avec Spark Universal.

Standalone Le Studio se connecte à un cluster configuré pour Spark afin d'exécuter le Job depuis ce cluster.

Pour plus d'informations, consultez Définir les paramètres de connexion standalone avec Spark Universal.

Yarn cluster Le Studio soumet des Jobs et collecte les informations d'exécution de votre Job depuis YARN et ApplicationMaster. Le pilote Spark s'exécute sur le cluster et peut s'exécuter indépendamment de votre Studio.

Pour plus d'informations, consultez Définir les paramètres de connexion au cluster YARN avec Spark Universal.