Configurer la connexion au service S3 utilisé par Spark - 7.1

Databricks

author
Talend Documentation Team
EnrichVersion
Cloud
7.1
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Real-Time Big Data Platform
task
Création et développement > Création de Jobs > Distributions Hadoop > Databricks
Création et développement > Création de Jobs > Serverless > Databricks
EnrichPlatform
Studio Talend

Procédure

  1. Double-cliquez sur le tS3Configuration pour ouvrir sa vue Component.
    Spark utilise ce composant pour se connecter au système S3 dans lequel votre Job écrit les données métier. Si vous n'avez ni de tS3Configuration ni d'autre composant de configuration supportant Databricks sur AWS, ces données métier sont écrites dans Databricks Filesystem (DBFS).
  2. Dans les champs Access key et Secret key, saisissez les clés à utiliser pour vous authentifier à S3.
  3. Dans le champ Bucket name, saisissez le nom du bucket et du dossier dans ce bucket à utiliser pour stocker les données métier, par exemple, mybucket/myfolder. Ce dossier est créé à la volée s'il n'existe pas mais le bucket doit exister au moment de l'excuction.