À propos des clusters Databricks - 7.3

Databricks

Version
7.3
Language
Français (France)
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Open Studio for Big Data
Talend Real-Time Big Data Platform
Module
Studio Talend
Content
Création et développement > Création de Jobs > Distributions Hadoop > Databricks
Création et développement > Création de Jobs > Serverless > Databricks

Les informations contenues dans cette section concernent uniquement les utilisateurs et utilisatrices de Fichier ou ayant une souscription à Big Dataet ne sont pas applicables aux utilisateur·trices de Talend Open Studio for Big Data. Elles s'appliquent uniquement aux utilisateur·trices exécutant leurs Jobs Spark dans des distributions Databricks, sur Azure et AWS.

Les clusters Databricks sont un ensemble de ressources de calcul et de configurations sur lequel vous pouvez exécuter vos Jobs Spark Streaming et Spark Batch. Dans le Studio Talend, vous pouvez exécuter votre Job Spark sur un cluster interactif ou sur un cluster transitoire.
Remarque : Par défaut les Jobs Spark s'exécutent sur un cluster interactif. Vous pouvez gérer cela dans l'onglet de configuration Spark, dans la vue Run de votre Job Spark. Pour plus d'informations, consultez Définir les paramètres de connexion à Azure Databricks pour les Jobs Spark.

Lorsque vous exécutez un Job sur un cluster interactif dans le Studio Talend, vous pouvez exécuter n'importe quelle charge de travail. Les clusters interactifs sont créés pour une durée indéterminée, mais vous pouvez les arrêter manuellement et les redémarrer si nécessaire. Plusieus utilisateur·trices peuvent partager ces clusters pour de l'analytique collaborative et interactive.

Lorsque vous exécutez un Job sur un cluster transitoire dans le Studio Talend, vous traitez le Job plus rapidement et le cluster s'arrête automatiquement lorsque le traitement est terminé, pour un coût réduit d'utilisation. Les clusters transitoires sont créés selon votre configuration Spark et vous ne pouvez les redémarrer une fois éteints.