Propriétés du composant tDeltaLakeInput pour Apache Spark Batch

preview

Ces propriétés sont utilisées pour configurer l'exécution du composant tDeltaLakeInput dans le framework du Job Spark Batch.

Le composant Spark Batch tDeltaLakeInput appartient à la famille Technique.

Le composant de ce framework est disponible dans tous les produits Talend avec Big Data nécessitant une souscription et dans Talend Data Fabric.

Basic settings

Define how to save the dataset	Sélectionnez la source du jeu de données à utiliser, parmi les options suivantes :
	Metastore : récupère les données au format table dans un metastore.
	Files : récupère les données au format delta dans des fichiers.
	Query : récupère les données des requêtes SQL.
Define a storage configuration component	Sélectionnez le composant de configuration à utiliser pour fournir les informations de configuration pour la connexion au système de fichiers cible. Si vous laissez cette case décochée, le système de fichiers cible est le système local. Le composant de configuration à utiliser doit se trouver dans le même Job. Par exemple, si vous avez ajouté un composant tS3Configuration dans votre Job, vous pouvez le sélectionner pour écrire le résultat dans un système de stockage S3 donné. Ce champ est disponible lorsque l'option Files est sélectionnée dans la liste déroulante Define the source of the dataset, dans la vue Basic settings.
Property type	Peut être Built-In ou Repository.
	Built-In : aucune propriété n'est stockée de manière centrale.
	Repository : Sélectionnez le fichier dans lequel sont stockées les propriétés du composant. Les propriétés sont stockées centralement sous le nœud Hadoop Cluster de la vue Repository. Les champs suivants sont alors préremplis à l'aide des données collectées. Pour plus d'informations concernant le nœud Hadoop Cluster, consultez Gérer les métadonnées Hadoop.
Schema et Edit Schema	Un schéma est une description de lignes. Il définit le nombre de champs (colonnes) à traiter et à passer au composant suivant. Lorsque vous créez un Job Spark, évitez le mot réservé `line` lors du nommage des champs. Créez le schéma en cliquant sur le bouton Edit Schema. Si le schéma est en mode Repository, trois options sont disponibles : View schema : sélectionnez cette option afin de voir uniquement le schéma. Change to built-in property : sélectionnez cette option pour passer le schéma en mode Built-In et effectuer des modifications locales. Update repository connection : sélectionnez cette option afin de modifier le schéma stocké dans le référentiel et décider de propager ou non les modifications à tous les Jobs. Si vous souhaitez propager les modifications uniquement au Job courant, cliquez sur No et sélectionnez à nouveau la métadonnée du schéma dans la fenêtre Repository Content. Spark déduit automatiquement les types de données pour les colonnes d'un schéma PARQUET. Dans un Job Talend pour Apache Spark, le type Date est déduit et stocké en tant que int96. Ce composant offre la fonction de schéma dynamique. Cela vous permet de récupérer des colonnes inconnues de fichiers sources ou de copier des lots de colonnes d'une source sans avoir à mapper chaque colonne individuellement. Pour plus d'informations concernant les schémas dynamiques, consultez Schéma dynamique. Cette fonctionnalité de schéma dynamique est conçue pour permettre de récupérer des colonnes inconnues d'une table. Il est recommandé de l'utiliser uniquement à cet effet et non pour créer des tables.
	Built-in : le schéma est créé et conservé localement pour ce composant seulement.
	Repository : le schéma existe déjà et est stocké dans le Repository. Ainsi, il peut être réutilisé dans des Jobs et projets.
Database	Saisissez, entre guillemets doubles, le nom de la base de données Delta Lake à utiliser. Ce champ est disponible lorsque vous sélectionnez Metastore dans la liste déroulante Define the source of the dataset, dans la vue Basic settings.
Table	Saisissez, entre guillemets doubles, le nom de la table à utiliser. Ce champ est disponible lorsque vous sélectionnez Metastore dans la liste déroulante Define the source of the dataset, dans la vue Basic settings.
Dossier/Fichier	Parcourez votre système ou saisissez le chemin d'accès aux données à utiliser dans le système de fichiers. Si le chemin d'accès défini pointe vers un dossier, ce composant lit tous les fichiers stockés dans le dossier, par exemple /user/talend/in. Si les sous-dossiers existent, ils sont automatiquement ignorés, sauf si vous définissez la propriété spark.hadoop.mapreduce.input.fileinputformat.input.dir.recursive à true dans la table Advanced properties, dans l'onglet Spark configuration. Selon le système de fichiers à utiliser, paramétrez le composant de configuration placé dans votre Job, par exemple un tS3Configuration pour S3 ou un tAzureFSConfiguration pour Azure Storage et Azure Data Lake Storage. Si vous souhaitez spécifier plus d'un fichier ou répertoires dans ce champ, séparez chaque chemin d'accès par une virgule (,). Le bouton pour parcourir votre système ne fonctionne pas en mode Local de Spark. Si vous utilisez les autres modes Yarn de Spark supportés par le Studio Talend avec votre distribution, assurez-vous d'avoir correctement configuré la connexion dans un composant de connexion dans le même Job. Utilisez le composant de configuration relatif au système de fichiers à utiliser. Ce champ est disponible lorsque l'option Files est sélectionnée dans la liste déroulante Define the source of the dataset, dans la vue Basic settings.
SQL Query	Saisissez la requête SQL à utiliser pour récupérer les données. Ce champ est disponible lorsque l'option SQL Query est sélectionnée dans la liste déroulante Define the source of the dataset, dans la vue Basic settings.
Specify Time Travel timestamp	Cochez cette case pour lire un snapshot avec un horodatage donné des jeux de données à utiliser. Le format utilisé par Deltalake est yyyy-MM-dd HH:mm:ss. Delta Lake crée systématiquement de légères différences entre l'heure de chargement d'un fichier et l'horodatage des métadonnées de ce fichier. Gardez à l'esprit ces différences lorsque vous devez filtrer des données. Cette propriété est disponible uniquement lorsque l'option Files est sélectionnée dans la liste déroulante Define how to save the dataset.
Specify Time Travel version	Cochez cette case pour lire un snapshot versionné des jeux de données à utiliser. Cette propriété est disponible uniquement lorsque l'option Files est sélectionnée dans la liste déroulante Define how to save the dataset.

Utilisation

Règle d'utilisation	Ce composant est utilisé en tant que composant de fin et requiert un lien d'entrée. Cette couche Delta Lake est construite sur votre système Data Lake. Vous pouvez vous connecter à votre système Data Lake à l'aide du composant de configuration correspondant à votre système Data Lake, par exemple, tAzureFSConfiguration.
Connexion à Spark	Dans l'onglet Spark Configuration de la vue Run, définissez la connexion à un cluster Spark donné pour le Job complet. De plus, puisque le Job attend ses fichiers .jar dépendants pour l'exécution, vous devez spécifier le répertoire du système de fichiers dans lequel ces fichiers .jar sont transférés afin que Spark puisse accéder à ces fichiers : Yarn mode (Yarn Client ou Yarn Cluster) : Lorsque vous utilisez Google Dataproc, spécifiez un bucket dans le champ Google Storage staging bucket de l'onglet Spark configuration. Lorsque vous utilisez HDInsight, spécifiez le blob à utiliser pour le déploiement du Job, dans la zone Windows Azure Storage configuration de l'onglet Spark configuration. Lorsque vous utilisez Altus, spécifiez le bucket S3 ou le stockage Azure Data Lake Storage (aperçu technique) pour le déploiement du Job, dans l'onglet Spark configuration. Lorsque vous utilisez des distributions sur site (on-premises), utilisez le composant de configuration correspondant au système de fichiers utilisé par votre cluster. Standalone mode : utilisez le composant de configuration correspondant au système de fichiers utilisé par votre cluster. Si vous utilisez Databricks sans composant de configuration dans votre Job, vos données métier sont écrites directement dans DBFS (Databricks Filesystem). Cette connexion fonctionne uniquement pour le Job dans lequel vous l'avez définie.

Règle d'utilisation

Ce composant est utilisé en tant que composant de fin et requiert un lien d'entrée.

Cette couche Delta Lake est construite sur votre système Data Lake. Vous pouvez vous connecter à votre système Data Lake à l'aide du composant de configuration correspondant à votre système Data Lake, par exemple, tAzureFSConfiguration.

Connexion à Spark

Dans l'onglet Spark Configuration de la vue Run, définissez la connexion à un cluster Spark donné pour le Job complet. De plus, puisque le Job attend ses fichiers .jar dépendants pour l'exécution, vous devez spécifier le répertoire du système de fichiers dans lequel ces fichiers .jar sont transférés afin que Spark puisse accéder à ces fichiers :

Yarn mode (Yarn Client ou Yarn Cluster) :
- Lorsque vous utilisez Google Dataproc, spécifiez un bucket dans le champ Google Storage staging bucket de l'onglet Spark configuration.
- Lorsque vous utilisez HDInsight, spécifiez le blob à utiliser pour le déploiement du Job, dans la zone Windows Azure Storage configuration de l'onglet Spark configuration.
- Lorsque vous utilisez Altus, spécifiez le bucket S3 ou le stockage Azure Data Lake Storage (aperçu technique) pour le déploiement du Job, dans l'onglet Spark configuration.
- Lorsque vous utilisez des distributions sur site (on-premises), utilisez le composant de configuration correspondant au système de fichiers utilisé par votre cluster.
Standalone mode : utilisez le composant de configuration correspondant au système de fichiers utilisé par votre cluster.

Si vous utilisez Databricks sans composant de configuration dans votre Job, vos données métier sont écrites directement dans DBFS (Databricks Filesystem).

Cette connexion fonctionne uniquement pour le Job dans lequel vous l'avez définie.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – dites-nous comment nous améliorer !

Laissez vos commentaires ici