Concevoir le flux de données à écrire et à chiffrer dans EMR - 7.2

Amazon S3

EnrichVersion
7.2
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Real-Time Big Data Platform
EnrichPlatform
Studio Talend
task
Création et développement > Systèmes tiers > Services Amazon (Intégration) > Composants Amazon S3
Gouvernance de données > Systèmes tiers > Services Amazon (Intégration) > Composants Amazon S3
Qualité et préparation de données > Systèmes tiers > Services Amazon (Intégration) > Composants Amazon S3
Liez les composants pour construire le flux de données.

Procédure

  1. Dans la perspective Integration du Studio, créez un Job Spark Batch vide, depuis le nœud Job Designs de la vue Repository.
  2. Dans l'espace de modélisation, saisissez le nom du composant à utiliser et sélectionnez ce composant dans la liste qui apparaît. Dans ce scénario, les composants sont tHDFSConfiguration (appelé emr_hdfs), tS3Configuration, tFixedFlowInput, tAggregateRow et tFileOutputParquet.
    Le composant tFixedFlowInput est utilisé pour charger les données d'exemple dans le flux de données. En pratique, utilisez le composant d'entrée spécifique au format des données ou le système source à utiliser au lieu du tFixedFlowInput.
  3. Reliez tFixedFlowInput, tAggregateRow et tFileOutputParquet à l'aide d'un lien Row > Main.
  4. Laissez les composants tHDFSConfiguration et tS3Configuration seuls, sans connexion.