Lire le delta des données depuis le système de fichiers - 7.3

Delta Lake

Version
7.3
Language
Français (France)
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Studio Talend
Content
Création et développement > Systèmes tiers > Composants Technical > Composants Delta Lake
Gouvernance de données > Systèmes tiers > Composants Technical > Composants Delta Lake
Qualité et préparation de données > Systèmes tiers > Composants Technical > Composants Delta Lake

Configurez le tDeltaLakeInput pour lire les différents snapshots des données relatives aux vols des États-Unis afin que votre Job calcule facilement l'évolution des vols.

Chaque snapshot a une version pour son écriture dans le jeu de données Delta Lake à utiliser.

Procédure

  1. Sélectionnez le composant de configuration de stockage à utiliser pour fournir les informations de connexion au système de fichiers. Dans cet exemple, le composant est un tS3Configuration
  2. Double-cliquez sur le composant tDeltaLakeInput nommé flights_latest_version pour ouvrir sa vue Component.
  3. Cochez la case Select a storage configuration component et sélectionnez le tS3Configuration pour réutiliser ses informations de connexion.
  4. Cliquez sur Edit schema pour ouvrir l'éditeur de schéma. Dans cet éditeur, définissez le schéma des données d'entrée.
  5. Dans le champ Folder/File, saisissez le chemin du répertoire où est stocké le jeu de données des vols, dans le bucket S3 spécifié dans le tS3Configuration.
  6. Répétez l'oépration pour configurer l'autre composant tDeltaLakeInput, mais cochez la case Specify time travel version et saisissez 0 entre guillemets doubles, dans le champ Version qui s'affiche, dans ce scénario, pour lire la première version des données relatives aux vols des États-Unis.
    Sans utiliser la fonctionnalité Time travel (voyage temporel), le tDeltaLakeInput lit le dernier snapshot de vos données. La fonctionnalité de voyage temporel vous permet de spécifier le snapshot à lire.