Configurer le Job - Cloud - 8.0

Azure Data Lake Store
Version
Cloud
8.0
Language
Français
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Real-Time Big Data Platform
Module
Studio Talend
Content
Création et développement > Systèmes tiers > Stockages Cloud > Composants Azure > Composants Azure Data Lake Storage Gen2
Gouvernance de données > Systèmes tiers > Stockages Cloud > Composants Azure > Composants Azure Data Lake Storage Gen2
Qualité et préparation de données > Systèmes tiers > Stockages Cloud > Composants Azure > Composants Azure Data Lake Storage Gen2
Last publication date
2023-06-08

Pourquoi et quand exécuter cette tâche

  • Cette procédure est spécifique à ADLS Databricks Gen2.
  • Vous pouvez créer ce Job dans le nœud Big Data Batch ou Big Data Streaming.

Procédure

  1. Déposez les composants suivants de la Palette dans l'espace de modélisation graphique : un tJava et un tAzureFSConfiguration.
  2. Connectez-vous à votre compte Databricks.
  3. Dans l'onglet Configuration de la page de votre cluster Databricks, développez Advanced options.
  4. Dans l'onglet Spark, ajoutez les propriétés Spark suivantes : 
    spark.hadoop.fs.azure.account.key.<storage_account>.dfs.core.windows.net <key>

    Cette clé est associée au compte de stockage à utiliser. Cette clé se trouve dans le panneau Access keys de ce compte de stockage. Deux clés sont disponibles pour chaque compte. Par défaut, n'importe laquelle peut être utilisée pour accéder au compte.

    Assurez-vous que le compte à utiliser contient les droits d'accès en lecture écriture appropriés.