Configurer votre Job - Cloud - 8.0

Code Java personnalisé
Version
Cloud
8.0
Language
Français
Product
Talend Big Data
Talend Big Data Platform
Talend Cloud
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Studio Talend
Content
Création et développement > Systèmes tiers > Composants Custom Code (Intégration) > Composants Custom Code Java
Gouvernance de données > Systèmes tiers > Composants Custom Code (Intégration) > Composants Custom Code Java
Qualité et préparation de données > Systèmes tiers > Composants Custom Code (Intégration) > Composants Custom Code Java
Last publication date
2024-02-21

Pourquoi et quand exécuter cette tâche

  • Cette procédure est spécifique à ADLS Databricks Gen2.
  • Vous pouvez créer ce Job dans le nœud Big Data Batch ou Big Data Streaming.

Procédure

  1. Déposez les composants suivants de la Palette dans l'espace de modélisation graphique : un tJava et un tAzureFSConfiguration.
  2. Connectez-vous à votre compte Databricks.
  3. Dans l'onglet Configuration de la page de votre cluster Databricks, développez Advanced options.
  4. Dans l'onglet Spark, ajoutez les propriétés Spark suivantes : 
    spark.hadoop.fs.azure.account.key.<storage_account>.dfs.core.windows.net <key>

    Cette clé est associée au compte de stockage à utiliser. Cette clé se trouve dans le panneau Access keys de ce compte de stockage. Deux clés sont disponibles pour chaque compte. Par défaut, n'importe laquelle peut être utilisée pour accéder au compte.

    Assurez-vous que le compte à utiliser contient les droits d'accès en lecture écriture appropriés.