Concevoir le flux de données du Job utilisant S3 et Databricks sur AWS - 7.1

Amazon S3

author
Talend Documentation Team
EnrichVersion
7.1
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Open Studio for MDM
Talend Real-Time Big Data Platform
task
Création et développement > Systèmes tiers > Services Amazon (Intégration) > Composants Amazon S3
Gouvernance de données > Systèmes tiers > Services Amazon (Intégration) > Composants Amazon S3
Qualité et préparation de données > Systèmes tiers > Services Amazon (Intégration) > Composants Amazon S3
EnrichPlatform
Studio Talend

Procédure

  1. Dans la perspective Integration du Studio, créez un Job Spark Batch vide, depuis le nœud Job Designs, dans la vue Repository.
  2. Dans l'espace de modélisation graphique, saisissez le nom du composant à utiliser et sélectionnez ce composant dans la liste qui s'affiche. Dans ce scénario, les composants sont : un tS3Configuration, un tFixedFlowInput, un tFileOutputParquet, un tFileInputParquet et un tLogRow.
    Le composant tFixedFlowInput est utilisé pour charger les données d'exemple dans le flux de données. Dans un cas d'utilisation réel, vous pouvez utiliser les composants Fichier d'entrée (File Input), ainsi que les composants de traitement (Processing), pour créer un processus complexe afin de préparer vos données au traitement.
  3. Reliez le tFixedFlowInput au tFileOutputParquet à l'aide d'un lien Row > Main.
  4. Reliez le tFileInputParquet au tLogRow à l'aide d'un lien Row > Main.
  5. Reliez le t tFixedFlowInput au tFileInputParquet à l'aide d'un lien Trigger > OnSubjobOk.
  6. Laissez le tS3Configuration, seul, sans lien.