Valeurs par défaut dans les profils d'exécution Big Data - Cloud

Guide d'utilisation de Talend Cloud Management Console for Pipelines

author
Talend Documentation Team
EnrichVersion
Cloud
EnrichProdName
Talend Cloud
task
Administration et monitoring > Gestion des projets
Administration et monitoring > Gestion des utilisateurs
Déploiement > Déploiement > Exécution de Tâches
Déploiement > Ordonnancement > Ordonnancement de Tâches
EnrichPlatform
Talend Management Console

Le tableau suivant liste les valeurs par défaut configurées dans les profils d'exécution Big Data.

Vous pouvez écraser certaines valeurs de paramètres dans la section ADVANCED CONFIGURATION tout en créant un profil d'exécution. Pour modifier les valeurs, ajoutez le paramètre listé dans la colonne Écrasable deu tableau ci-dessous et configurez sa valeur souhaitée dans le formulaire dans Talend Cloud Management Console.

Nom de la propriété Valeur par défaut Catégorie Écrasable
Micro-batch interval 5000 ms Configuration simple N/A
Streaming timeout 10 ms Configuration simple N/A
Yarn queue - Exécuteurs spark.yarn.queue
Driver memory 512 Mo Pilote spark.driver.memory
Driver cores 1 Driver spark.driver.cores
Yarn strategy Dynamic Pilote spark.dynamicAllocation.enabled
Initial number of executors 1 Exécuteurs spark.dynamicAllocation.initialExecutors
Min number of executors 0 Exécuteurs spark.dynamicAllocation.minExecutors
Max number of executors 0 Exécuteurs spark.dynamicAllocation.maxExecutors
Cores per executor 1 Exécuteurs SPARK_EXECUTOR_CORES
Executor memory 512 Mo Exécuteurs spark.executor.memory
Executor memory overhead 384 Mo Configuration avancée spark.executor.memoryOverhead
Checkpointing Activé Configuration avancée N/A
spark.submit.deployMode cluster N/A N/A
Temporary storage /tmp Configuration simple spark.local.dir