Configurer la mémoire du moteur et le nombre d'exécutions simultanées
Erreur d'exécution
Cannot submit pipeline <PIPELINE_NAME>, too many Livy sessions are used.
où <PIPELINE_NAME> est le nom donné à votre pipeline.
Pour des raisons de sécurité, le nombre d'exécutions simultanées de pipelines est limité, mais cette limite est configurable pour le Moteur distant Gen2.
Configurer le nombre d'exécutions simultanées autorisées
- <engine_directory>/default/.env si vous utilisez le moteur dans les régions AWS USA, AWS Europe, AWS Asie-Pacifique ou Azure.
- <engine_directory>/eap/.env si vous utilisez le moteur au sein du programme Early Adopter Program.
LIVY_SERVER_SESSION_MAX_CREATION=<NB_SLOTS>
LIVY_SERVER_SESSION_MAX_CREATION=(memory - 4)/spark.driver.memory
où memory correspond à la mémoire allouée au moteur, 4 aux 4 Go de mémoire nécessaires pour les autres services du moteur et spark.driver.memory à la mémoire allouée à chaque exécution de pipeline (1 Go par défaut).
La valeur par défaut spark.driver.memory peut être modifiée en ajoutant le paramètre et la valeur à la section Advanced configuration du formulaire Add run profile de Talend Management Console.
Exemple :
LIVY_SERVER_SESSION_MAX_CREATION=1
Cette page vous a-t-elle aidé ?
Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – dites-nous comment nous améliorer !