Activer et configurer la rotation des logs sur le moteur - Cloud

Guide de démarrage rapide de Talend Remote Engine Gen2

EnrichVersion
Cloud
EnrichProdName
Talend Cloud
EnrichPlatform
Talend Management Console
Talend Pipeline Designer
task
Déploiement > Déploiement > Exécution de Pipelines
Installation et mise à niveau

Les logs liés aux Pipelines exécutés sur le Remote Engine Gen2 sont rédigés dans le conteneur Livy /tmp/livy/jobs où la rotation des logs est désactivée par défaut.

Paramètres Valeurs Description
LIVY_JOB_LOG_PURGE_ENABLE true ou false false (valeur par défaut) : la rotation des logs est désactivée.

true : active la rotation des logs

LIVY_JOB_LOG_RETAIN_DAYS Entier, la valeur par défaut est 30 Lorsque la rotation des logs est activée, les logs antérieurs à XX (en jours) sont supprimés.
LIVY_JOB_LOG_RETAIN_DISK Entier, la valeur par défaut est 1048576 Lorsque la rotation des logs est activée et que l'espace de disque total utilisé par les logs est supérieur à XX (en octets), tous les logs existants sont supprimés.

Procédure

  1. Rendez vous dans le dossier d'installation de Remote Engine Gen2.
  2. Éditez le fichier docker-compose.yml utilisé pour démarrer le moteur.
  3. Trouvez le service appelé livy et ajoutez les paramètres et valeurs appropriés.

    Exemple

    Pour activer la rotation des logs et supprimer les logs antérieur à 3 mois avec un déclenchement du nettoyage des logs à 10 Go :
    livy:
    	...
    	environment:
    		...
    		LIVY_JOB_LOG_PURGE_ENABLE: "true"
    		LIVY_JOB_LOG_RETAIN_DAYS: 90
    		LIVY_JOB_LOG_RETAIN_DISK: 10485760
  4. Redémarrez Livy en exécutant cette commande :
    docker-compose up -d livy