Propriétés du tDBFSGet Standard - 7.1

Databricks

author
Talend Documentation Team
EnrichVersion
Cloud
7.1
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Real-Time Big Data Platform
task
Création et développement > Création de Jobs > Distributions Hadoop > Databricks
Création et développement > Création de Jobs > Serverless > Databricks
EnrichPlatform
Studio Talend

Ces propriétés sont utilisées pour configurer le composant tDBFSGet s'exécutant dans le framework de Jobs Standard.

Le composant tDBFSGet Standard appartient aux familles Big Data et File.

Le composant de ce framework est disponible dans tous les produits Talend Platform avec Big Data et dans Talend Data Fabric.

Basic settings

Property type

Peut être Built-In ou Repository.

Built-In : aucune propriété n'est stockée de manière centrale.

Repository : Sélectionnez le fichier dans lequel sont stockées les propriétés du composant.

Use an existing connection

Cochez cette case et, dans la liste Component List, cliquez sur le composant HDFS de connexion duquel vous souhaitez réutiliser les informations de connexion précédemment définies.

Notez que lorsqu'un Job contient un Job parent et un Job enfant, la liste Component List présente uniquement les composants de connexion du Job du même niveau.

Endpoint

Dans le champ Endpoint, saisissez l'URL de votre espace de travail Azure Databricks. Vous pouvez trouver cette URL dans la palette Overview de votre espace de travail Databricks sur votre portail Azure. Par exemple, cette URL peut ressembler à : https://westeurope.azuredatabricks.net.

Token

Cliquez sur le bouton [...] à côté du champ Token pour saisir le token d'authentification généré pour votre compte utilisateur Databricks. Vous pouvez générer ou trouver ce jeton sur la page User settings de votre espace de travail Databricks. Pour plus d'informations, consultez Token management (en anglais) dans la documentation Azure.

DBFS directory

Dans le champ DBFS directory, entrez le chemin d'accès pointant vers les données à utiliser dans le système de fichiers DBFS.

Local directory

Parcourez votre système ou saisissez le chemin d'accès au répertoire local dans lequel stocker les fichiers copiés depuis DBFS.

Overwrite file

Options permettant d'écraser ou non le fichier existant par le nouveau.

Include subdirectories

Cochez cette case si la source d'entrée sélectionnée comprend des sous-répertoires.

Files

Dans la zone Files, les champs à renseigner sont les suivants :

- File mask : saisissez le nom du fichier à sélectionner dans HDFS. Les expressions régulières sont disponibles.

- New name : renommez le fichier obtenu.

Die on error

Cochez cette case pour arrêter l'exécution du Job lorsqu'une erreur survient.

Décochez la case pour ignorer les lignes en erreur et terminer le traitement des lignes sans erreur.

Advanced settings

tStatCatcher Statistics

Cochez cette case pour collecter les métadonnées de traitement du Job au niveau du Job ainsi qu'au niveau de chaque composant.

Usage

Usage rule

This component combines DBFS connection and data extraction, thus used as a single-component Subjob to copy data from DBFS to an user-defined local directory.

It runs standalone and does not generate input or output flow for the other components. It is often connected to the Job using OnSubjobOk or OnComponentOk link, depending on the context.