Calcul de la note du serveur de Jobs - 7.2

Version
7.2
Language
Français (France)
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Talend Administration Center
Content

Calcul de la note du serveur de Jobs

Ce document décrit comment les serveurs d'exécution dans Talend Administration Center reçoivent leurs étoiles, autrement dit, comment un serveur est indiqué comme étant meilleur qu'un autre pour une exécution de Job.

Le serveur de Jobs est une sonde qui s'exécute sur le serveur d'exécution. Il mesure certaines caractéristiques du serveur d'exécution telles que la mémoire disponible, l'espace disque disponible, etc. Ces informations sont envoyées à Talend Administration Center qui calcule la valeur de la note de ce serveur.

Un serveur a un ensemble de caractéristiques :

  • l'espace disque disponible
  • la mémoire physique disponible
  • la mémoire virtuelle disponible
  • l'utilisation des processeurs en inactivité
  • l'utilisation NICE du processeur
  • l'utilisation totale du processeur
  • le nombre de processeurs

Certaines caractéristiques sont plus importantes que les autres. Vous pouvez donc attribuer un poids à chaque caractéristique pour leur donner un ordre de priorité. Ce poids est défini par l'utilisateur ou l'utilisatrice dans le fichier monitoring_client.properties. Nommez par exemple weight{i} le poids de la caractéristique i.

Vous pouvez choisir la plage dans laquelle la caractéristique est censée être assez performante. Cela signifie que vous donnez à la caractéristique du serveur des limites à atteindre. Par exemple, un serveur n'est pas assez performant pour l'exécution du Job s'il n'a pas 1 Go d'espace disque. La limite basse sur le disque serait donc de 1 Go (à configurer dans le fichier monitoring_client.properties). Nommez Min{i} la limite basse définie sur la caractéristique {i} et Max{i} sa limite haute.

Le serveur a une valeur pour chaque caractéristique. Par exemple, le serveur i a seulement 500 Mo d'espace disque libre. Nommez cette valeur de la caractéristique value{i}.

Le serveur est parfait si toutes ses caractéristiques ont une valeur qui se trouve dans les plages définies par les limites. Lorsque certaines caractéristiques ont une valeur en dehors de la plage définie, le serveur n'est pas très performant.

Comment calculer la note du serveur de Jobs

Définissez l'offset de la caractéristique comme la différence entre la limite et la valeur réelle.

Offset{i}=

value{i} - Max{i}, when value{i} > Max{i}

0, when Min{i} < value{i} < Max{i}

Min{i} - value{i}, when value{i} < Min{i}

L'offset relatif est donné par l'offset divisé par la note :

rel_offset{i} = offset{i} / [ Max{i} - Min{i} ]

C'est une valeur positive.

La note du serveur est calculée en tant que somme pondérée de tous ses offsets relatifs, multipliée par un facteur de -100 :

rate = -100 Σ weight{i} x rel_offset{i}

À cette étape, la note est un nombre négatif non borné. Pour obtenir un nombre entre 0 et 100, la formule suivante est utilisée :

normalized rate = 100 / [ 1 - rate / scale ]

scale = 2000.

L'échelle est un nombre arbitraire indiquant la sensibilité aux mauvaises valeurs. Une note normalisée égale à 100 signifie que le serveur est bon. Une note normalisée inférieure à 100 signifie que le serveur n'est pas bon. Plus basse est la note normalisée, moins le serveur est bon. Lorsque toutes les valeurs de caractéristiques se trouvent dans les intervalles attendus, la note est 0 et la note normalisée est 100.

Si l'espace disque requis est compris entre 1 et 2 Go et que l'espace disponible sur le disque est de 500 Mo, l'offset relatif est 1/2. Le poids étant de 8, la note normalisée sera 100/ [ 1 + 400/2000 ] = 83.33.

Le diagramme ci-dessous présente la manière dont la note évolue en fonction de l'espace disque disponible sur le serveur et pour deux poids différents (en supposant que toutes les autres caractéristiques du serveur soient comprises dans les limites définies).

La note du serveur est mise à jour toutes les 90 secondes, mais vous pouvez modifier cette fréquence en configurant la valeur du paramètre notification.conf.checking.frequencyCheckJobServerState.

Talend Administration Center liste les notes des serveurs en ordre décroissant, les vérifie une par une, de la note la plus haute à la plus basse afin de trouver le meilleur serveur, qui devrait contenir un Job déployé.