Configurer les paramètres d'exécution avancés - 6.4

Talend Real-time Big Data Platform Studio Guide utilisateur

EnrichVersion
6.4
EnrichProdName
Talend Real-Time Big Data Platform
task
Création et développement
Qualité et préparation de données
EnrichPlatform
Studio Talend

Dans l'onglet Advanced settings de la vue Run, plusieurs paramètres d'exécution avancés sont disponibles pour rendre l'exécution des Jobs plus pratique :

  • Statistics, cette fonction affiche le taux de performance de traitement. Pour plus d'informations, consultez Afficher les Statistiques.

  • Exec time, cette fonction affiche le temps d'exécution dans la console, à la fin de l'exécution. Pour plus d'informations, consultez Afficher la durée d'exécution et d'autres options.

  • Save Job before execution, cette fonction permet de sauvegarder automatiquement le Job avant son exécution.

  • Clear before run, cette fonction efface tous les résultats de l'exécution précédente avant de ré-exécuter le Job.

  • log4jLevel, cette fonctionnalité vous permet de modifier le niveau de sortie lors de l'exécution pour log4j dans les composants du Job. Pour plus d'informations, consultez Personnaliser le niveau de sortie du log4j à l'exécution.

  • JVM Setting, cette fonction vous permet de définir les paramètres de votre JVM selon vos besoins. Pour un exemple concernant l'utilisation de cette fonction, consultez Afficher des caractères spéciaux dans la console.

Afficher les Statistiques

La fonction Statistics affiche pour chacun des composants son taux de performance, en dessous des connexions dans l'espace de modélisation.

Sont indiqués le nombre de lignes traitées et la vitesse de traitement en ligne par seconde. Vous pouvez ainsi plus facilement repérer d'éventuels goulots d'étranglement dans le traitement de votre flux de données.

Pour les liens de déclenchement de type If, OnComponentOk, OnComponentError, OnSubjobOk et OnSubjobError, l'option Statistics affiche l'état de ce déclenchement durant l'exécution de votre Job : Ok ou Error et True ou False.

Note

Cette option est disponible pour tous les composants, à l'exception des composants externes, qui ne peuvent offrir cette fonctionnalité que si leur conception le prévoit.

Dans la vue Run, cochez la case Statistics pour activer la fonction Statistiques et décoche la case pour la désactiver.

Le calcul des statistiques ne commence qu'au début de l'exécution du Job et s'arrête lorsque l'exécution s'arrête.

Cliquez sur le bouton Clear pour effacer les statistiques affichées. Cochez la case Clear before Run pour que la fonction de statistiques se réinitialise automatiquement avant chaque exécution.

Note

Les statistiques peuvent ralentir sensiblement les performances d'exécution du Job car il doit envoyer ces données à l'application afin qu'elles soient affichées.

Vous pouvez également sauvegarder votre Job avant le début de l'exécution. Cochez la case de l'option correspondante, Save Job before execution.

Afficher la durée d'exécution et d'autres options

Il vous suffit de cocher la case Exec time avant de lancer votre Job pour qu'à la fin de l'exécution de votre Job, sa durée totale s'affiche.

De cette manière vous pouvez vérifier les résultats ou tester votre Job avant de l'envoyer en production.

Vous pouvez aussi nettoyer votre espace de modélisation avant chaque exécution en cochant la case Clear before run.

Vous pouvez aussi enregistrer votre Job avant que l'exécution ne commence, en cochant la case Save Job before run.

Afficher des caractères spéciaux dans la console

Le Studio Talend peut afficher des caractères spéciaux dans la console, comme les caractères chinois, japonais ou coréens, par exemple. Pour les afficher, procédez comme suit, avant d'exécuter le Job :

  1. Cliquez sur l'onglet Advanced settings.

  2. Dans la zone JVM settings, cochez la case Use specific JVM arguments afin d'activer le tableau Argument.

  3. A côté du tableau Argument, cliquez sur le bouton New..., afin d'ouvrir la boîte de dialogue [Set the VM argument].

  4. Dans la boîte de dialogue, saisissez -Dfile.encoding=UTF-8.

  5. Cliquez sur OK pour fermer la boîte de dialogue.

Cet argument peut être appliqué à toutes vos exécutions de Jobs dans le Studio Talend. Pour plus d'informations concernant l'application d'un argument JVM à toutes les exécutions de Jobs, consultez Préférences d'exécution et de débogage (Talend > Run/Debug).

Définir le nombre de Mo utilisés dans chaque morceau du flux de Talend Data Mapper

Lorsque vous exécutez des Jobs contenant des mappings créés à l'aide de Talend Data Mapper et qui diffusent des données en flux, il est possible de définir le nombre de Mo utilisés dans chaque morceau de ce flux, 10 Mo par défaut. Vous pouvez cependant augmenter ce nombre de Mo si vous avez plus de mémoire à allouer à la transformation.

3) Cliquez sur OK pour ajouter l'argument.

Lorsque vous exécutez des Jobs contenant des mappings créés via Talend Data Mapper et mettant les données en flux, il est possible de spécifier le nombre de Mo utilisés dans chaque morceau de flux. Le nombre par défaut est 10 Mo, mais vous pouvez augmenter cette taille si vous possédez plus de mémoire à allouer à la transformation.

Pour définir le nombre de Mo utilisés dans chaque morceau :

  1. Dans l'onglet Advanced settings de la vue Run, cochez la case Use specific JVM arguments.

  2. Cliquez sur le bouton New et, dans la boîte de dialogue [Set the VM Argument] qui s'ouvre, saisissez l'argument à utiliser.

    Par exemple, saisissez -DTDM_STREAM_MEMORY_LIMIT=20 pour des morceaux de 20 Mo.

  3. Cliquez sur OK pour ajouter l'argument.