Nettoyage automatique des artefacts pour de meilleures performances de votre moteur distant

Nettoyage automatique des artefacts pour de meilleures performances de votre moteur distant - Cloud

Guide d'utilisation de Talend Remote Engine pour Linux

Version

Cloud

Language

Français

Operating system

Linux

Product

Talend Cloud

Module

Talend Remote Engine

Content

Création et développement

Installation et mise à niveau

Last publication date

2024-02-26

Autorisez votre moteur distant à supprimer régulièrement et automatiquement les artefacts non utilisés afin de libérer de l'espace de stockage.

Ce nettoyage n'a aucun impact sur les exécutions de tâches en cours, car une tâche utilise des artefacts provenant du référentiel du moteur distant local uniquement lors du déploiement. Les artefacts relatifs à des tâches sont téléchargés dans ce référentiel local lorsque la tâche s'exécute pour la première fois. Ensuite, ces artefacts téléchargés sont réutilisés pour les exécutions suivantes de la même tâche.

Le plus haut niveau de sécurité de votre système antivirus peut perturber le processus de nettoyage automatique, par exemple en empêchant la suppression de fichiers temporaires. Pour corriger ce problème, abaisser le nveau de sécurité de votre logiciel antivirus peut être une solution.

Remarque : Assurez-vous que chaque instance de moteur distant a son dossier TalendJobServersFiles séparé, comme expliqué dans Déployer plusieurs moteurs distants.

Procédure

Ouvrez le fichier <RemoteEngineInstallationDirectory>/etc/org.talend.ipaas.rt.deployment.agent.cfg pour le modifier.
Définissez les paramètres suivants :
- local.maven.clean.interval.days : le nettoyage automatique est activé une fois qu'une valeur supérieure à 0 est saisie.
  Par exemple :
```
local.maven.clean.interval.days=2
```
  Le nettoyage est effectué tous les deux jours.
  Remarque : Assurez-vous de n'avoir aucun espace en trop dans la valeur du paramètre, car cela fait échouer l'appairage du moteur.
- local.maven.clean.max.gb.size : taille maximale (en Go) allouée aux artefacts à stocker dans <RemoteEngineInstallationDirectory>/data/m2/actions dans le moteur distant.
  Par exemple :
```
local.maven.clean.max.gb.size=8
```
  Si l'ensemble des artefacts stockés dépasse 8 Go, lorsqu'un service planifié de nettoyage démarre, ce service supprime les artefacts les plus anciens, dont les dernières exécutions dépassent la période de rétention, jusqu'à ce que la taille des artefacts soit inférieure ou égale à 8 Go.
- local.maven.clean.older.than.days : période de rétention d'un artefact, par exemple,
```
local.maven.clean.older.than.days=3
```
  La période de rétention de trois jours de cet exemple n'a aucun impact sur une tâche dont l'exécution est prévue sur quatre jours.
Les artefacts sont supprimés uniquement lorsque les deux conditions suivantes sont remplies :
- La taille totale des artefacts stockés dépasse la limite spécifiée.
- D'anciens artefacts ont une date de dernière exécution dépassant la période de rétention spécifiée.
  Un artefact est téléchargé dans le référentiel du moteur distant local uniquement lorsqu'une tâche relative est exécutée pour la première fois. Ensuite, l'artefact est réutilisé dans les exécutions de cette tâche et sa date d'exécution est mise à jour.
Sauvegardez le fichier.

Résultats

Un message de log est retourné à chaque fois qu'un nettoyage planifié est effectué. Ce message commence par les mots suivants :

Remote Engine m2 artifacts cleanup performed:

Si ce message vous dit qu'aucun artefact n'a été supprimé, réfléchissez à diminuer la taille limite ou la période de rétention.

Remarque : Ce nettoyage automatique ne supprime ni les fichiers du dossier <RemoteEngineInstallationDirectory>/TalendJobServersFiles/archiveJobs/, ni les fichiers du dossier \data\tmp\ :

Des fichiers de dépendances supplémentaires, par exemple plusieurs versions de log4j, sont stockés dans <RemoteEngineInstallationDirectory>/TalendJobServersFiles/archiveJobs/.
Les fichiers temporaires relatifs à Apache Karaf sont stockés dans \data\tmp\ et sont automatiquement supprimés, lorsque Karaf, avec le moteur distant, arrête de s'exécuter.