Propriétés du tDBFSPut Standard - 7.1

DBFS

author
Talend Documentation Team
EnrichVersion
Cloud
7.1
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Real-Time Big Data Platform
task
Création et développement > Systèmes tiers > Composants File (Intégration) > DBFS
Gouvernance de données > Systèmes tiers > Composants File (Intégration) > DBFS
Qualité et préparation de données > Systèmes tiers > Composants File (Intégration) > DBFS
EnrichPlatform
Studio Talend

Ces propriétés sont utilisées pour configurer le composant tDBFSPut s'exécutant dans le framework de Jobs Standard.

Le composant tDBFSPut Standard appartient aux familles Big Data et File.

Le composant de ce framework est disponible dans tous les produits Talend Platform avec Big Data et dans Talend Data Fabric.

Basic settings

Property type

Peut être Built-In ou Repository.

Built-In : aucune propriété n'est stockée de manière centrale.

Repository : Sélectionnez le fichier dans lequel sont stockées les propriétés du composant.

Use an existing connection

Cochez cette case et, dans la liste Component List, cliquez sur le composant HDFS de connexion duquel vous souhaitez réutiliser les informations de connexion précédemment définies.

Notez que lorsqu'un Job contient un Job parent et un Job enfant, la liste Component List présente uniquement les composants de connexion du Job du même niveau.

Endpoint

Dans le champ Endpoint, saisissez l'URL de votre espace de travail Azure Databricks. Vous pouvez trouver cette URL dans la palette Overview de votre espace de travail Databricks sur votre portail Azure. Par exemple, cette URL peut ressembler à : https://westeurope.azuredatabricks.net.

Token

Cliquez sur le bouton [...] à côté du champ Token pour saisir le token d'authentification généré pour votre compte utilisateur Databricks. Vous pouvez générer ou trouver ce jeton sur la page User settings de votre espace de travail Databricks. Pour plus d'informations, consultez Token management (en anglais) dans la documentation Azure.

DBFS directory

Dans le champ DBFS directory, entrez le chemin d'accès pointant vers les données à utiliser dans le système de fichiers DBFS.

Local directory

Répertoire local où sont stockés les fichiers à charger dans DBFS.

Overwrite file

Options permettant d'écraser ou non le fichier existant par le nouveau.

Include subdirectories

Cochez cette case si la source d'entrée sélectionnée comprend des sous-répertoires.

Files

Dans la zone Files, les champs à renseigner sont :

- File mask : saisissez le nom du fichier à sélectionner dans e répertoire local. Les expressions régulières sont disponibles.

- New name : renommez le fichier chargé.

Die on error

Cochez cette case pour arrêter l'exécution du Job lorsqu'une erreur survient.

Décochez la case pour ignorer les lignes en erreur et terminer le traitement des lignes sans erreur.

Advanced settings

tStatCatcher Statistics

Cochez cette case pour collecter les métadonnées de traitement du Job au niveau du Job ainsi qu'au niveau de chaque composant.

Utilisation

Règle d'utilisation

Ce composant combine la connexion à DBFS et l'extraction de données, généralement utilisés en un sous-job composé d'un seul composant pour copier des données depuis un répertoire local personnalisé vers DBFS.

Il s'exécute en standalone et ne génère ni de flux d'entrée ni de flux de sortie pour les autres composants. Il est généralement connecté au Job à l'aide d'un lien OnSubjobOk ou OnComponentOk, selon le contexte.