À propos des clusters Databricks - 7.3

Databricks

Version
7.3
Language
Français
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Real-Time Big Data Platform
Module
Studio Talend
Content
Création et développement > Création de Jobs > Distributions Hadoop > Databricks
Création et développement > Création de Jobs > Serverless > Databricks
Last publication date
2024-02-22

Les informations contenues dans cette section concernent uniquement les utilisateur·trices de Fichier ou Big Data. Elles s'appliquent uniquement aux utilisateur·trices exécutant leurs Jobs Spark dans des distributions Databricks, sur Azure et AWS.

Les clusters Databricks sont un ensemble de ressources de calcul et de configurations sur lequel vous pouvez exécuter vos Jobs Spark Streaming et Spark Batch. Dans le Studio Talend, vous pouvez exécuter vos Jobs Spark sur des clusters universels ou des clusters de jobs.
Remarque : Par défaut, les Jobs Spark s'exécutent sur un cluster universel. Vous pouvez gérer cela dans l'onglet de configuration Spark, dans la vue Run de votre Job Spark. Pour plus d'informations, consultez Définir les paramètres de connexion à Azure Databricks pour les Jobs Spark.

Lorsque vous exécutez un Job sur un cluster universel dans le Studio Talend, vous pouvez exécuter n'importe quelle charge de travail. Les clusters interactifs sont créés pour une durée indéterminée, mais vous pouvez les arrêter manuellement et les redémarrer si nécessaire. Plusieus utilisateur·trices peuvent partager ces clusters pour de l'analytique collaborative et interactive.

Lorsque vous exécutez un Job sur un cluster de jobs dans le Studio Talend, vous traitez le Job plus rapidement et le cluster s'arrête automatiquement lorsque le traitement est terminé, pour un coût réduit d'utilisation. Les clusters de jobs sont créés selon votre configuration Spark et vous ne pouvez les redémarrer une fois éteints.