Configurer les logs persistants dans le Moteur distant Gen2 installé en local ou dans votre Cloud privé virtuel - Cloud

Guide de démarrage rapide de Talend Moteur distant Gen2

Version
Cloud
Language
Français
Product
Talend Cloud
Module
Talend Management Console
Talend Pipeline Designer
Content
Déploiement > Déploiement > Exécution de Pipelines
Installation et mise à niveau
Last publication date
2024-01-25

Par défaut, les logs de toutes vos exécutions persistent dans Apache Livy, mais vous avez la possibilité de les désactiver ou réactiver manuellement pour éviter une trop grande consommation de mémoire par les logs.

Cette configuration s'applique uniquement aux utilisateurs et utilisatrices ayant installé Moteur distant Gen2 on-premises ou sur leur Cloud privé virtuel (AWS ou Azure).

Procédure

  1. Accédez au répertoire d'installation du Moteur distant Gen2.
  2. Ouvrez le fichier suivant pour le modifier :

    <engine_directory>/default/.env si vous utilisez le moteur dans les régions AWS USA, AWS Europe, AWS Asie-Pacifique ou Azure.

    <engine_directory>/eap/.env si vous utilisez le moteur au sein du programme Early Adopter Program.

  3. Modifiez la ligne suivante pour désactiver ou activer les logs :
    • Pour désactiver les logs :
      LIVY_JOB_LOG_PERSISTENCE_ENABLE=false
    • Pour activer les logs :
      LIVY_JOB_LOG_PERSISTENCE_ENABLE=true
  4. Sauvegardez le fichier.
  5. Dans le fichier docker-compose.yml, configurez le volume Livy à utiliser. Ce fichier se trouve dans le dossier default ou eap, selon le centre de données que vous utilisez.

    Exemple

    Ajoutez la section suivante afin de spécifier le volume :
    livy:
        image: ${LIVY_IMG}
        networks:
          default:
            aliases:
              - livy
        environment:
          ...
        volumes:
           - <HOST_FOLDER_PATH>:/tmp/livy-jobs-logs:rw
    Modifiez ensuite la valeur de <HOST_FOLDER_PATH> en /tmp/livy-jobs-logs, par exemple.

    Cette configuration crée le dossier de l'hôte des logs avec les autorisations en lecture et écrite et le monte dans le conteneur Docker Livy.

  6. Redémarrez Moteur distant Gen2 pour que vos modifications soient prises en compte.