Activer et configurer la rotation des logs sur le moteur - Cloud

Guide de démarrage rapide de Talend Moteur distant Gen2

Version
Cloud
Language
Français
Product
Talend Cloud
Module
Talend Management Console
Talend Pipeline Designer
Content
Déploiement > Déploiement > Exécution de Pipelines
Installation et mise à niveau
Last publication date
2024-01-25

Les logs liés aux pipelines exécutés sur le Moteur distant Gen2 sont rédigés dans le conteneur Livy /tmp/livy/jobs où la rotation des logs est désactivée par défaut.

Le tableau suivant présente les paramètres de rotation de log
Paramètres Valeurs Description
LIVY_JOB_LOG_PURGE_ENABLE true ou false false (valeur par défaut) : la rotation des logs est désactivée.

true : active la rotation des logs

LIVY_JOB_LOG_RETAIN_DAYS Entier, la valeur par défaut est 30 Lorsque la rotation des logs est activée, les logs antérieurs à XX (en jours) sont supprimés.
LIVY_JOB_LOG_RETAIN_DISK Entier, la valeur par défaut est 1048576 Lorsque la rotation des logs est activée et que l'espace de disque total utilisé par les logs est supérieur à XX (en octets), tous les logs existants sont supprimés.

Procédure

  1. Accédez au répertoire d'installation du Moteur distant Gen2.
  2. Modifiez le fichier suivant utilisé pour démarrer le moteur :
    default/docker-compose.yml si vous utilisez le moteur dans les régions AWS USA, AWS Europe, AWS Asie-Pacifique ou Azure.

    eap/docker-compose.yml si vous utilisez le moteur au sein du programme Early Adopter Program.

  3. Trouvez le service appelé livy et ajoutez les paramètres et valeurs appropriés.

    Exemple

    Pour activer la rotation des logs et supprimer les logs antérieur à 3 mois avec un déclenchement du nettoyage des logs à 10 Go :
    livy:
    	...
    	environment:
    		...
    		LIVY_JOB_LOG_PURGE_ENABLE: "true"
    		LIVY_JOB_LOG_RETAIN_DAYS: 90
    		LIVY_JOB_LOG_RETAIN_DISK: 10485760
  4. Redémarrez Livy en exécutant cette commande :
    docker-compose up -d livy