Créer le flux de données du Job pour S3 et Databricks sur AWS - 7.1

Databricks

author
Talend Documentation Team
EnrichVersion
Cloud
7.1
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Real-Time Big Data Platform
task
Création et développement > Création de Jobs > Distributions Hadoop > Databricks
Création et développement > Création de Jobs > Serverless > Databricks
EnrichPlatform
Studio Talend

Procédure

  1. Dans la perspective Integration du Studio, créez un Job Spark Batch vide depuis le nœud Job Designs dans la vue Repository.
  2. Dans l'espace de modélisation graphique, saisissez le nom du composant à utiliser, dans la liste qui s'affiche. Dans ce scénario, les composants sont le tS3Configuration, le tFixedFlowInput, le tFileOutputParquet, le tFileInputParquet et le tLogRow.
    Le composant tFixedFlowInput est utilisé pour charger l'échantillon de données dans le flux de données. Dans un scénario d'utilisation réelle, vous pourriez utiliser les composants Fichier d'entrée (File Input), ainsi que les composants de traitement (Processing), pour créer un processus complexe préparant vos données au traitement.
  3. Reliez le tFixedFlowInput au tFileOutputParquet à l'aide d'un lien Row > Main.
  4. Reliez le tFileInputParquet au tLogRow à l'aide d'un lien Row > Main.
  5. Reliez le tFixedFlowInput au tFileInputParquet à l'aide d'un lien Trigger > OnSubjobOk.
  6. Laissez le composant tS3Configuration sans lien.