Activer et configurer la rotation des logs sur le moteur - Cloud

Guide de démarrage rapide de Talend Remote Engine Gen2

EnrichVersion
Cloud
EnrichProdName
Talend Cloud
EnrichPlatform
Talend Management Console
Talend Pipeline Designer
task
Déploiement > Déploiement > Exécution de Pipelines
Installation et mise à niveau

Les logs liés aux pipelines exécutés sur le Moteur distant Gen2 sont rédigés dans le conteneur Livy /tmp/livy/jobs où la rotation des logs est désactivée par défaut.

Paramètres Valeurs Description
LIVY_JOB_LOG_PURGE_ENABLE true ou false false (valeur par défaut) : la rotation des logs est désactivée.

true : active la rotation des logs

LIVY_JOB_LOG_RETAIN_DAYS Entier, la valeur par défaut est 30 Lorsque la rotation des logs est activée, les logs antérieurs à XX (en jours) sont supprimés.
LIVY_JOB_LOG_RETAIN_DISK Entier, la valeur par défaut est 1048576 Lorsque la rotation des logs est activée et que l'espace de disque total utilisé par les logs est supérieur à XX (en octets), tous les logs existants sont supprimés.

Procédure

  1. Accédez au répertoire d'installation du Moteur distant Gen2.
  2. Modifiez le fichier suivant utilisé pour démarrer le moteur :
    default/docker-compose.yml si vous utilisez le moteur dans les régions AWS USA, AWS Europe, AWS Asie-Pacifique ou Azure.

    eap/docker-compose.yml si vous utilisez le moteur au sein du programme Early Adopter Program.

  3. Trouvez le service appelé livy et ajoutez les paramètres et valeurs appropriés.

    Exemple

    Pour activer la rotation des logs et supprimer les logs antérieur à 3 mois avec un déclenchement du nettoyage des logs à 10 Go :
    livy:
    	...
    	environment:
    		...
    		LIVY_JOB_LOG_PURGE_ENABLE: "true"
    		LIVY_JOB_LOG_RETAIN_DAYS: 90
    		LIVY_JOB_LOG_RETAIN_DISK: 10485760
  4. Redémarrez Livy en exécutant cette commande :
    docker-compose up -d livy