Propriétés du tAzureStorageList Standard - 6.5

Azure Storage Blob

author
Talend Documentation Team
EnrichVersion
6.5
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for ESB
Talend Open Studio for MDM
Talend Real-Time Big Data Platform
task
Création et développement > Systèmes tiers > Stockages Cloud > Composants Azure > Composants Azure Storage Blob
Gouvernance de données > Systèmes tiers > Stockages Cloud > Composants Azure > Composants Azure Storage Blob
Qualité et préparation de données > Systèmes tiers > Stockages Cloud > Composants Azure > Composants Azure Storage Blob
EnrichPlatform
Studio Talend

Ces propriétés sont utilisées pour configurer le tAzureStorageList s'exécutant dans le framework de Jobs Standard.

Le composant tAzureStorageList Standard appartient à la famille Cloud.

Le composant de ce framework est disponible dans tous les produits Talend.

Basic settings

Property Type

Sélectionnez la manière de configurer les informations de connexion.

  • Built-In : les paramètres de connexion seront définis localement pour ce composant. Vous devez spécifier manuellement les valeurs pour toutes les propriétés de connexion.

  • Repository : les paramètres de connexion stockés centralement dans le Repository > Metadata seront réutilisés par ce composant. Vous devez cliquer sur le bouton [...] et, dans la boîte de dialogue Repository Content, sélectionnez les détails de connexion à réutiliser. Toutes les propriétés de connexion seront automatiquement renseignées.

Cette propriété n'est pas disponible lorsqu'un autre composant de connexion est sélectionné dans la liste Connection Component.

Connection Component

Sélectionnez dans la liste déroulante le composant dont les informations de connexion seront utilisées pour configurer la connexion à Azure Storage.

Account Name

Saisissez le nom du compte de stockage auquel vous devez accéder. Vous pouvez trouver un nom de compte de stockage dans le dashboard Storage accounts du système Microsoft Azure Storage à utiliser. Assurez-vous que l'administrateur du système a donné les droits d'accès appropriés à ce compte de stockage.

Account Key

Saisissez la clé associée au compte de stockage auquel vous devez accéder. Deux clés sont disponibles pour chaque compte. Par défaut, n'importe laquelle peut être utilisée pour accéder au compte.

Protocol

Sélectionnez le protocole de la connexion à créer.

Use Azure Shared Access Signature

Cochez cette case pour utiliser une signature d'accès partagé pour accéder aux ressources du stockage sans utiliser de clé de compte.

Dans le champ Azure Shared Access Signature qui s'affiche, saisissez votre signature d'accès partagé entre guillemets doubles. Vous pouvez obtenir l'URL de la signature d'accès partagé pour chaque service autorisé sur le portail de Microsoft Azure, après génération de la signature. Le format de l'URL est le suivant : https://<$storagename>.<$service>.core.windows.net/<$sastoken>, où <$storagename> est le nom du compte de stockage, <$service> le nom du service autorisé (blob, file, queue ou table) et <$sastoken> est la valeur du jeton de signature d'accès partagé. Pour plus d'informations, consultez Constructing the Account SAS URI (en anglais).

Notez que SAS a une période de validité, vous pouvez configurer l'heure de début de validité de SAS et son heure d'expiration, après laquelle SAS n'est plus valide lors de la génération. Vous devez vous assurer que votre SAS est toujours valide lorsque vous exécutez votre Job.

Container name

Saisissez le nom du conteneur duquel vous souhaitez sélectionner les blobs à lister.

Blob filters

Renseignez cette table afin de sélectionner les blobs à lister. Les paramètres à fournir sont :

  • Prefix : saisissez le préfixe commun au nom des blobs à lister. Ce préfixe vous permet de filtrer les blobs ayant un préfixe spécifié, dans leur nom, dans le conteneur donné.

    Le nom d'un blob contient la hiérarchie virtuelle du blob lui-même. Cette hiérarchie est un chemin virtuel vers ce blob et est relatif au conteneur où est stocké le blob. Par exemple, dans un conteneur nommé photos, le nom d'un blob d'une photo peut être 2014/US/Oakland/Talend.jpg.

    Pour cette raison, lorsque vous définissez un préfixe, vous créez un niveau de répertoire comme filtre de blob, par exemple, 2014/ or 2014/US/.

    Si vous souhaitez sélectionner les blobs stockés directement sous le niveau du conteneur, c'est-à-dire les blobs sans chemin virtuel dans leur nom, supprimez les guillemets et saisissez null.

  • Include-subdirectories : cochez cette case afin de sélectionner tous les sous-dossiers et les blobs dans ces dossiers, sous le niveau du répertoire désigné. Si vous laissez cette case décochée, le tAzureStorageList retourne uniquement les blobs, s'il y en a, directement sous le niveau de ce répertoire.

Schema et Edit schema

Un schéma est une description de lignes. Il définit le nombre de champs (colonnes) dans le Repository. Lorsque vous créez un Job Spark, évitez le mot réservé line lors du nommage des champs.

  • Built-in : le schéma est créé et conservé localement pour ce composant seulement.

  • Repository : le schéma existe déjà et est stocké dans le Repository. Ainsi, il peut être réutilisé dans des Jobs et projets.

Le schéma de ce composant est prédéfini avec une colonne unique BlobName de type String, qui indique le nom de chaque blob à lister.

Modifiez le schéma en cliquant sur Edit Schema. Si le schéma est en mode Repository, trois options sont disponibles :

  • View schema : sélectionnez cette option afin de voir uniquement le schéma.

  • Change to built-in property : sélectionnez cette option pour passer le schéma en mode Built-In et effectuer des modifications locales.

  • Update repository connection : sélectionnez cette option afin de modifier le schéma stocké dans le référentiel et décider de propager ou non les modifications à tous les Jobs. Si vous souhaitez propager les modifications uniquement au Job courant, cliquez sur No et sélectionnez à nouveau la métadonnée du schéma dans la fenêtre [Repository Content].

Die on error

Cochez cette case pour arrêter l'exécution du Job lorsqu'une erreur survient.

Décochez la case pour ignorer les lignes en erreur et terminer le traitement des lignes sans erreur. Lorsque les erreurs sont ignorées, vous pouvez récupérer les lignes en erreur en utilisant la connexion Row > Reject.

Advanced settings

tStatCatcher Statistics

Cochez cette case pour collecter les métadonnées de traitement du Job, aussi bien au niveau du Job qu'au niveau de chaque composant.

Global Variables

CONTAINER

Nom du conteneur du blob. Cette variable est une variable After et retourne une chaîne de caractères.

CURRENT_BLOB

Nom du blob traité par ce composant. Cette variable est une variable After et retourne une chaîne de caractères.

NB_LINE

Nombre de lignes traitées. Cette variable est une variable After et retourne un entier.

ERROR_MESSAGE

Message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères.

Utilisation

Règle d'utilisation

Ce composant peut être utilisé en standalone dans un Job ou un sous-job.

Prérequis

Des connaissances de Microsoft Azure Storage sont nécessaires.