Sauvegarder des logs d'exécution dans un bucket Amazon S3 - Cloud

Guide utilisateur de Talend Cloud Management Console

author
Talend Documentation Team
EnrichVersion
Cloud
EnrichProdName
Talend Cloud
task
Administration et monitoring > Gestion des projets
Administration et monitoring > Gestion des utilisateurs
Déploiement > Exécution de Pipelines
Déploiement > Exécution de Tâches
Déploiement > Ordonnancement > Ordonnancement de Tâches
EnrichPlatform
Talend Management Console
Les logs sont sauvegardés dans des dossiers séparés, que les tâches soient exécutées directement ou via un plan d'exécution.

Avant de commencer

Avant de démarrer cette procédure, vous devez créer un bucket Amazon S3, configurer les rôles entre les deux comptes (consultez https://docs.aws.amazon.com/fr_fr/IAM/latest/UserGuide/tutorial_cross-account-with-roles.html) et envoyer votre configuration à Talend Cloud Management Console.

Pourquoi et quand exécuter cette tâche

Le transfert de logs de données du bucket externe Amazon S3 n'est pas supporté pour les logs de Services de données et de Routes.

Procédure

  1. Allez à la page CONFIGURATION > MANAGEMENT CONSOLE.
  2. Activez l'option Export Logs.
  3. Dans la page Management Console Export Logs, cliquez sur le lien Cloud Formation template afin de télécharger le modèle Talend Cloud AWS CloudFormation.

    Exemple

  4. Rendez-vous dans votre compte AWS et lancez l'assistant Create Stack dans la console AWS CloudFormation Console.
  5. À l'étape Select Template, sélectionnez Upload a template vers Amazon S3 et choisissez le modèle fournit par Talend Cloud.
  6. Dans la section Specify Details, définissez les paramètres External ID, S3BucketName et S3 prefix.
  7. À l'étape Review, sélectionnez I acknowledge that AWS CloudFormation might create IAM resources (je reconnais que AWS CloudFormation peut créer des ressources IAM).
  8. Cliquez sur Create.
    La pile est créée. Sélectionnez la pile et trouvez la valeur de la clé RoleARN dans l’onglet Outputs.
  9. Retournez dans Talend Cloud Management Console.
  10. Fournissez les paramètres requis :

    Exemple

    Paramètre Fonction
    Role ARN Amazon Resource Name qui donne un identifiant unique au bucket S3 cible.
    External ID Identifiant externe du bucket S3 cible.
    Bucket Name Nom du bucket S3 cible.
    Prefix (Facultatif) Préfixe des fichiers de log à exporter. Dans le bucket S3 cible, les fichiers de log ont été créés dans un dossier portant le nom du préfixe.
  11. Cliquez sur TEST EXPORT.
    Un message indique que le fichier de log test horodaté est exporté vers votre bucket. Vérifiez que le fichier a été correctement exporté avant de passer à la suite.

    En cas d'erreur, vérifiez votre configuration AWS ou les paramètres que vous avez renseignés dans la page Management Console Export Logs.

  12. Cliquez sur SAVE.

Résultats

Les fichiers de log seront exportés vers votre bucket S3 dès que vous exécutez une tâche, dans le dossier portant le nom du préfixe. Des fichiers sont générés pour chaque exécution et nommés avec l'identifiant de l'exécution.

Les tâches exécutées indviduellement génèrent des logs dans [S3Bucket_name]/[prefix]/flows.

Les tâches exécutées via un plan génèrent des logs dans [S3Bucket_name]/[prefix]/ep.
Les plans d'exécution génèrent un fichier de log qui contient le statut final du plan d'exécution : succès ou échec (success or failed).