Lier les composants pour définir le flux de données Delta Lake - 7.3

Delta Lake

Version
7.3
Language
Français (France)
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Studio Talend
Content
Création et développement > Systèmes tiers > Composants Technical > Composants Delta Lake
Gouvernance de données > Systèmes tiers > Composants Technical > Composants Delta Lake
Qualité et préparation de données > Systèmes tiers > Composants Technical > Composants Delta Lake
Glissez et liez les composants à utiliser pour lire et traiter vos données Delta Lake.

Procédure

  1. Dans la perspective Integration du Studio, créez un Job Spark Batch vide, depuis le nœud Job Designs de la vue Repository.
  2. Dans l'espace de modélisation, saisissez le nom du composant à utiliser et sélectionnez ce composant dans la liste qui apparaît. Dans ce scénario, les composants sont tS3Configuration (libellé s3_flights), deux composants tDeltaLakeInput (libellés flights_latest_version et flights_first_version, respectivement), deux composants tAggregateRow (libellés count_per_flights), deux composants tPartition (libellés repart), un tMap et un tFileOutputDelimited.
  3. Connectez ces composants à l'aide d'un lien Row > Main comme illustré dans l'image ci-dessus.
  4. Laissez le composant tS3Configuration seul, sans connexion.