Propriétés du tAzureAdlsGen2Output Standard - Cloud - 8.0

Azure Data Lake Store

Version
Cloud
8.0
Language
Français (France)
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Real-Time Big Data Platform
Module
Studio Talend
Content
Création et développement > Systèmes tiers > Stockages Cloud > Composants Azure > Composants Azure Data Lake Store
Gouvernance de données > Systèmes tiers > Stockages Cloud > Composants Azure > Composants Azure Data Lake Store
Qualité et préparation de données > Systèmes tiers > Stockages Cloud > Composants Azure > Composants Azure Data Lake Store

Ces propriétés sont utilisées pour configurer le tAzureAdlsGen2Output s'exécutant dans le framework de Jobs Standard.

Le composant tAzureAdlsGen2Output Standard appartient à la famille Cloud.

Le composant de ce framework est disponible dans tous les produits Talend nécessitant une souscription.

Basic settings

Type de propriété

Sélectionnez la manière de configurer les informations de connexion.

  • Built-In : les paramètres de connexion seront définis localement pour ce composant. Vous devez spécifier manuellement les valeurs pour toutes les propriétés de connexion.

  • Repository : les paramètres de connexion stockés centralement dans le Repository > Metadata seront réutilisés par ce composant.

    Vous devez cliquer sur le bouton [...] et, dans la boîte de dialogue Repository Content, sélectionnez les détails de connexion à réutiliser. Toutes les propriétés de connexion seront automatiquement renseignées.

Use an existing connection

Cochez cette case et sélectionnez le composant de connexion adéquat dans la liste Component list pour réutiliser les paramètres d'une connexion que vous avez déjà définie.

Remarque : Lorsqu'un Job contient un Job parent et un Job enfant, si vous devez partager une connexion existante entre ces deux niveaux, par exemple pour partager la connexion créée par le Job parent au Job enfant, procédez comme suit.
  1. au niveau du Job parent, enregistrer la connexion à la base de données à partager dans la vue Basic settings du composant de connexion créant cette connexion à la base de données.
  2. au niveau du Job enfant, utiliser un composant de connexion dédié afin de lire cette connexion enregistrée.

Pour un exemple de partage d'une connexion à une base de données à travers différents niveaux de Jobs, consultez le Guide d'utilisation du Studio Talend .

Remarque : Cette option est disponible uniquement si vous avez installé la mise à jour mensuelle R2022-01 du Studio ou une mise à jour plus récente fournie par Talend. Pour plus d'informations, contactez votre administrateur ou administratrice.

Schema et Edit schema

Un schéma est une description de lignes. Il définit le nombre de champs (colonnes) à traiter et à passer au composant suivant. Lorsque vous créez un Job Spark, évitez le mot réservé line lors du nommage des champs.

  • Built-in : le schéma est créé et conservé localement pour ce composant seulement.

  • Repository : le schéma existe déjà et est stocké dans le Repository. Ainsi, il peut être réutilisé dans des Job Designs et projets.

Créez le schéma en cliquant sur le bouton Edit Schema.
Remarque : Si vous effectuez des modifications, le schéma passe automatiquement en type built-in.
  • View schema : sélectionnez cette option afin de voir uniquement le schéma.

  • Change to built-in property : sélectionnez cette option pour passer le schéma en mode Built-In et effectuer des modifications locales.

  • Update repository connection : sélectionnez cette option afin de modifier le schéma stocké dans le référentiel et décider de propager ou non les modifications à tous les Jobs.

    Si vous souhaitez propager les modifications uniquement au Job courant, cliquez sur No et sélectionnez à nouveau la métadonnée du schéma dans la fenêtre Repository Content.

Sync columns

Cliquez sur ce bouton pour récupérer le schéma du composant précédent connecté dans le Job.

Authentication method

Sélectionnez l'une des méthodes d'authentification suivantes dans la liste déroulante.

  • Shared key, qui nécessite une clé d'accès au compte. Consultez Manage a storage account pour plus d'informations.
  • Shared Access Signature, qui nécessite une signature d'accès partagé. Pour plus d'informations, consultez Constructing the Account SAS URI (en anglais).
  • Azure Active Directory, cochez cette option pour utiliser l'authentification Azure Active Directory lors de l'établissement de la connexion. Consultez Azure AD Authentication pour des informations associées.

Nom du compte

Saisissez le nom du compte Data Lake Store auquel accéder. Assurez-vous que l'administrateur du système a donné les droits d'accès appropriés à ce compte de stockage.

Endpoint suffix

Saisissez l'endpoint du service Azure Storage.

La combinaison du nom de compte et de l'endpoint de service Azure Storage forme l'endpoint du compte de stockage.

Shared key

Saisissez la clé associée au compte de stockage auquel vous devez accéder. Deux clés sont disponibles pour chaque compte. Par défaut, n'importe laquelle peut être utilisée pour accéder au compte. Pour plus d'informations concernant l'obtention de votre clé, consultez Manage a storage account (en anglais).

Pour saisir la clé partagée, cliquez sur le bouton [...] près du champ Shared key pour ouvrir la boîte de dialogue Enter a new password. Saisissez la clé partagée dans le champ de texte, puis cliquez sur OK. Vous pouvez saisir la clé partagée comme une chaîne de caractères JSON en mode pure password ou comme une expression Java en mode Java mode. Vous pouvez passer d'un mode à l'autre en cliquant sur switch to Java mode ou switch to pure password mode au-dessus du champ de texte.
Remarque :
  • Les deux modes de mot de passe sont disponibles uniquement lorsque vous avez installé la mise à jour mensuelle 8.0.1-R2022-05 du Studio ou une mise à jour plus récente fournie Talend. Pour plus d'informations, contactez votre administrateur ou administratrice.
  • Si vous n'avez pas installé la mise à jour mensuelle 8.0.1-R2022-05 du Studio ou une mise à jour plus récente fournie par Talend, vous pouvez saisir les clés partagées en mode Java mode uniquement.

Ce champ est disponible si vous sélectionnez Shared key dans la liste déroulante Authentication method.

SAS Token

Saisissez le jeton SAS de votre compte. Vous pouvez obtenir le jeton de la signature d'accès partagé pour chaque service autorisé sur le portail de Microsoft Azure, après génération de la signature. Le format du jeton SAS est le suivant : https://<$storagename><$service>.core.windows.net/<$sastoken>, où <$storagename> est le nom du compte de stockage, <$service> le nom du service autorisé (blob, file, queue ou table) et <$sastoken> la valeur du jeton de signature d'accès partagé. Pour plus d'informations, consultez Constructing the Account SAS URI (en anglais).

Ce champ est disponible si vous sélectionnez Shared Access Signature (Signature d'accès partagé) dans la liste déroulante Authentication method (Méthode d'authentification).

Tenant ID

Saisissez l'ID du tenant Azure AD. Consultez Obtenir un jeton à partir d’Azure AD pour autoriser les requêtes à partir d’une application cliente pour plus d'informations.

Cette option est disponible uniquement lorsque vous sélectionnez Azure Active Directory dans la liste déroulante Authentication method (Méthode d'authentification).

Client ID

Saisissez l'ID du client de votre application. Consultez Obtenir un jeton à partir d’Azure AD pour autoriser les requêtes à partir d’une application cliente pour plus d'informations.

Cette option est disponible uniquement lorsque vous sélectionnez Azure Active Directory dans la liste déroulante Authentication method (Méthode d'authentification).

Client Secret

Saisissez le secret du client de votre application. Consultez Obtenir un jeton à partir d’Azure AD pour autoriser les requêtes à partir d’une application cliente pour plus d'informations.

Pour saisir le secret du client, cliquez sur le bouton [...] près du champ Client secret pour ouvrir la boîte de dialogue Enter a new password et saisissez le secret du client dans le champ de texte, puis cliquez sur OK. Vous pouvez saisir le secret du client comme une chaîne de caractères JSON en mode pure password ou comme une expression Java en mode Java mode. Vous pouvez passer d'un mode à l'autre en cliquant sur switch to Java mode ou switch to pure password mode au-dessus du champ de texte.

Cette option est disponible uniquement lorsque vous sélectionnez Azure Active Directory dans la liste déroulante Authentication method (Méthode d'authentification).

Check connection

Cliquez sur ce bouton pour valider les paramètres de connexion fournis.

Filesystem

Saisissez le nom du conteneur d'objets Blob cible.

Vous pouvez également cliquer sur le bouton ... à droite de ce champ et sélectionner le conteneur de Blobs voulu dans la liste de dans la boîte de dialogue.

Blobs path

Saisissez le chemin d'accès au blob cible.

Format

Configurez le format des données entrantes. Les formats actuellement supportés sont : CSV, AVRO, JSON, Parquet et Delta.

Field Delimiter

Configurez le séparateur de champs. Vous pouvez sélectionner Semicolon, Comma, Tabulation et Space dans la liste déroulante. Vous pouvez également sélectionner Other et saisir votre séparateur personnalisé dans le champ Custom field delimiter.

Record Separator

Configurez le séparateur d'enregistrments. Vous pouvez sélectionner LF, CR et CRLF dans la liste déroulante. Vous pouvez également sélectionnée Other et saisir votre séparateur personnalisé dans le champ Custom Record Separator.

Text Enclosure Character

Saisissez le caractère utilisé pour entourer le texte.

Escape character

Saisissez le caractère d'échappement de la ligne.

Header

Cochez cette case pour insérer une ligne d'en-tête aux données. L'en-tête utilisera le schéma des noms de colonnes.

File Encoding

Sélectionnez l'encodage du fichier dans la liste déroulante.

Paramètres avancés

Statistiques du tStatCatcher

Cochez cette case pour collecter les métadonnées de traitement du Job, aussi bien au niveau du Job qu'au niveau de chaque composant.

Max batch size

Configurez le nombre maximal de lignes autorisées dans chaque lot.

Ne modifiez pas la valeur par défaut, à moins de rencontrer un problème de performance. Augmenter la taille des lots peut améliorer les performances mais paramétrer une valeur trop haute peut causer des échecs dans les Jobs.

Timeout

Spécifiez un délai avant expiration (en secondes) pour la création de la connexion. Une erreur sera générée si la connexion n'est pas créée correctement au cours du délai evant expiration.

Remarque : Cette option est disponible uniquement si vous avez installé la mise à jour mensuelle R2022-01 du Studio ou une mise à jour plus récente fournie par Talend. Pour plus d'informations, contactez votre administrateur ou administratrice.

Blob Template Name

Saisissez une chaîne de caractères servant de préfixe aux fichiers Blob générés. Le nom d'un fichier Blob généré correspondra au préfixe du nom, suivit d'une chaine de caractères différente.

Variables globales

ERROR_MESSAGE

Message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères.

NB_LINE

Nombre de lignes correctement traitées. Cette variable est une variable After et retourne un entier.

Utilisation

Usage rule

Ce composant est généralement utilisé comme composant de fin dans un Job ou un sous-Job et nécessite un lien d'entrée.