Propriétés du tAzureStorageList Standard - 7.3

Azure Storage Blob

Version
7.3
Language
Français
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Studio Talend
Content
Création et développement > Systèmes tiers > Stockages Cloud > Composants Azure > Composants Azure Storage Blob
Gouvernance de données > Systèmes tiers > Stockages Cloud > Composants Azure > Composants Azure Storage Blob
Qualité et préparation de données > Systèmes tiers > Stockages Cloud > Composants Azure > Composants Azure Storage Blob
Last publication date
2024-02-22

Ces propriétés sont utilisées pour configurer le tAzureStorageList s'exécutant dans le framework de Jobs Standard.

Le composant tAzureStorageList Standard appartient à la famille Cloud.

Le composant de ce framework est disponible dans tous les produits Talend.

Basic settings

Property Type

Sélectionnez la manière de configurer les informations de connexion.

  • Built-In : les paramètres de connexion seront définis localement pour ce composant. Vous devez spécifier manuellement les valeurs pour toutes les propriétés de connexion.

  • Repository : les paramètres de connexion stockés centralement dans le Repository > Metadata seront réutilisés par ce composant. Vous devez cliquer sur le bouton [...] et, dans la boîte de dialogue Repository Content, sélectionnez les détails de connexion à réutiliser. Toutes les propriétés de connexion seront automatiquement renseignées.

Cette propriété n'est pas disponible lorsqu'un autre composant de connexion est sélectionné dans la liste Connection Component.

Connection Component

Sélectionnez dans la liste déroulante le composant dont les informations de connexion seront utilisées pour configurer la connexion à Azure Storage.

Account Name

Saisissez le nom du compte de stockage auquel vous devez accéder. Vous pouvez trouver un nom de compte de stockage dans le dashboard Storage accounts du système Microsoft Azure Storage à utiliser. Assurez-vous que l'administrateur du système a donné les droits d'accès appropriés à ce compte de stockage.

Authentication type

Configurez le type d'authentification pour vous connecter à Microsoft Azure Blob storage. Deux options sont fournies : Basic et Azure Active Directory.

Remarque : Cette option est disponible uniquement si vous avez installé la mise à jour mensuelle R2020-03 du Studio ou une mise à jour plus récente fournie par Talend. Pour plus d'informations, contactez votre administrateur.

Account Key

Saisissez la clé associée au compte de stockage auquel vous devez accéder. Deux clés sont disponibles pour chaque compte. Par défaut, n'importe laquelle peut être utilisée pour accéder au compte. Sélectionnez dans la liste déroulante le composant dont les informations de connexion seront utilisées pour configurer la connexion à Azure Storage.

Cette option est disponible uniquement lorsque l'option Basic est sélectionnée dans la liste déroulante Authentication type.

Protocol

Sélectionnez le protocole de la connexion à créer.

Cette option est disponible uniquement lorsque l'option Basic est sélectionnée dans la liste déroulante Authentication type.

Use Azure Shared Access Signature

Cochez cette case pour utiliser une signature d'accès partagé pour accéder aux ressources du stockage sans utiliser de clé de compte. Pour plus d'informations, consultez Utilisation des signatures d'accès partagé (SAP).

Dans le champ Azure Shared Access Signature qui s'affiche, saisissez votre signature d'accès partagé entre guillemets doubles. Vous pouvez obtenir l'URL de la signature d'accès partagé pour chaque service autorisé sur le portail de Microsoft Azure, après génération de la signature. Le format de l'URL est le suivant : https://<$storagename>.<$service>.core.windows.net/<$sastoken>, où <$storagename> est le nom du compte de stockage, <$service> le nom du service autorisé (blob, file, queue ou table) et <$sastoken> est la valeur du jeton de signature d'accès partagé. Pour plus d'informations, consultez Constructing the Account SAS URI (en anglais).

Notez que SAS a une période de validité. Vous pouvez configurer l'heure de début de validité de SAS et son heure d'expiration, après laquelle SAS n'est plus valide lors de la génération. Vous devez vous assurer que votre SAS est toujours valide lorsque vous exécutez votre Job.

Cette option est disponible uniquement lorsque l'option Basic est sélectionnée dans la liste déroulante Authentication type.

Tenant ID

Saisissez l'ID du tenant Azure AD. Consultez Obtenir un jeton à partir d’Azure AD pour autoriser les requêtes à partir d’une application cliente pour plus d'informations.

Cette option est disponible uniquement lorsque vous sélectionnez Azure Active Directory dans la liste déroulante Authentication type.

Remarque : Cette option est disponible uniquement si vous avez installé la mise à jour mensuelle R2020-03 du Studio ou une mise à jour plus récente fournie par Talend. Pour plus d'informations, contactez votre administrateur.

Client ID

Saisissez l'ID du client de votre application. Consultez Obtenir un jeton à partir d’Azure AD pour autoriser les requêtes à partir d’une application cliente pour plus d'informations.

Cette option est disponible uniquement lorsque vous sélectionnez Azure Active Directory dans la liste déroulante Authentication type.

Remarque : Cette option est disponible uniquement si vous avez installé la mise à jour mensuelle R2020-03 du Studio ou une mise à jour plus récente fournie par Talend. Pour plus d'informations, contactez votre administrateur.

Client Secret

Saisissez le secret du client de votre application. Consultez Obtenir un jeton à partir d’Azure AD pour autoriser les requêtes à partir d’une application cliente pour plus d'informations.

Cette option est disponible uniquement lorsque vous sélectionnez Azure Active Directory dans la liste déroulante Authentication type.

Remarque : Cette option est disponible uniquement si vous avez installé la mise à jour mensuelle R2020-03 du Studio ou une mise à jour plus récente fournie par Talend. Pour plus d'informations, contactez votre administrateur.

Container name

Saisissez le nom du conteneur duquel vous souhaitez sélectionner les blobs à lister.

Blob filters

Renseignez cette table afin de sélectionner les blobs à lister. Les paramètres à fournir sont :

  • Prefix : saisissez le préfixe commun au nom des blobs à lister. Ce préfixe vous permet de filtrer les blobs ayant un préfixe spécifié, dans leur nom, dans le conteneur donné.

    Le nom d'un blob contient la hiérarchie virtuelle du blob lui-même. Cette hiérarchie est un chemin virtuel vers ce blob et est relatif au conteneur où est stocké le blob. Par exemple, dans un conteneur nommé photos, le nom d'un blob d'une photo peut être 2014/US/Oakland/Talend.jpg.

    Pour cette raison, lorsque vous définissez un préfixe, vous créez un niveau de répertoire comme filtre de blob, par exemple, 2014/ or 2014/US/.

    Si vous souhaitez sélectionner les blobs stockés directement sous le niveau du conteneur, c'est-à-dire les blobs sans chemin virtuel dans leur nom, supprimez les guillemets et saisissez null.

  • Include-subdirectories : cochez cette case afin de sélectionner tous les sous-dossiers et les blobs dans ces dossiers, sous le niveau du répertoire désigné. Si vous laissez cette case décochée, le tAzureStorageList retourne uniquement les blobs, s'il y en a, directement sous le niveau de ce répertoire.

Schema et Edit schema

Un schéma est une description de lignes. Il définit le nombre de champs (colonnes) à traiter et à passer au composant suivant. Lorsque vous créez un Job Spark, évitez le mot réservé line lors du nommage des champs.

  • Built-in : le schéma est créé et conservé localement pour ce composant seulement.

  • Repository : le schéma existe déjà et est stocké dans le Repository. Ainsi, il peut être réutilisé dans des Jobs et projets.

Le schéma de ce composant est prédéfini avec une colonne unique BlobName de type String, qui indique le nom de chaque blob à lister.

Créez le schéma en cliquant sur le bouton Edit Schema. Si le schéma est en mode Repository, trois options sont disponibles :

  • View schema : sélectionnez cette option afin de voir uniquement le schéma.

  • Change to built-in property : sélectionnez cette option pour passer le schéma en mode Built-In et effectuer des modifications locales.

  • Update repository connection : sélectionnez cette option afin de modifier le schéma stocké dans le référentiel et décider de propager ou non les modifications à tous les Jobs. Si vous souhaitez propager les modifications uniquement au Job courant, cliquez sur No et sélectionnez à nouveau la métadonnée du schéma dans la fenêtre Repository Content.

Die on error

Cochez cette case pour arrêter l'exécution du Job lorsqu'une erreur survient.

Décochez la case pour ignorer les lignes en erreur et terminer le traitement des lignes sans erreur. Lorsque les erreurs sont ignorées, vous pouvez récupérer les lignes en erreur en utilisant la connexion Row > Reject.

Advanced settings

tStatCatcher Statistics

Cochez cette case pour collecter les métadonnées de traitement du Job, aussi bien au niveau du Job qu'au niveau de chaque composant.

Global Variables

CONTAINER

Nom du conteneur du blob. Cette variable est une variable After et retourne une chaîne de caractères.

CURRENT_BLOB

Nom du blob traité par ce composant. Cette variable est une variable After et retourne une chaîne de caractères.

NB_LINE

Nombre de lignes traitées. Cette variable est une variable After et retourne un entier.

ERROR_MESSAGE

Message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères.

Utilisation

Règle d'utilisation

Ce composant peut être utilisé en standalone dans un Job ou un sous-Job.

Prérequis

Des connaissances de Microsoft Azure Storage sont nécessaires.