Configurez le tDeltaLakeInput pour lire les différents snapshots des données relatives aux vols des États-Unis afin que votre Job calcule facilement l'évolution des vols.
Chaque snapshot a une version pour son écriture dans le jeu de données Delta Lake à utiliser.
Procédure
-
Sélectionnez le composant de configuration de stockage à utiliser pour fournir les informations de connexion au système de fichiers. Dans cet exemple, le composant est un tS3Configuration
-
Double-cliquez sur le composant tDeltaLakeInput nommé flights_latest_version pour ouvrir sa vue Component.
-
Cochez la case Select a storage configuration component et sélectionnez le tS3Configuration pour réutiliser ses informations de connexion.
-
Cliquez sur Edit schema pour ouvrir l'éditeur de schéma. Dans cet éditeur, définissez le schéma des données d'entrée.
-
Dans le champ Folder/File, saisissez le chemin du répertoire où est stocké le jeu de données des vols, dans le bucket S3 spécifié dans le tS3Configuration.
-
Répétez l'oépration pour configurer l'autre composant tDeltaLakeInput, mais cochez la case Specify time travel version et saisissez 0 entre guillemets doubles, dans le champ Version qui s'affiche, dans ce scénario, pour lire la première version des données relatives aux vols des États-Unis.
Sans utiliser la fonctionnalité Time travel (voyage temporel), le tDeltaLakeInput lit le dernier snapshot de vos données. La fonctionnalité de voyage temporel vous permet de spécifier le snapshot à lire.
