Configurer les paramètres d'exécution avancés - 6.5

Talend Real-Time Big Data Platform Studio Guide utilisateur

EnrichVersion
6.5
EnrichProdName
Talend Real-Time Big Data Platform
task
Création et développement
Qualité et préparation de données
EnrichPlatform
Studio Talend

Dans l'onglet Advanced settings de la vue Run, plusieurs paramètres d'exécution avancés sont disponibles pour rendre l'exécution des Jobs et Routes plus pratique :

  • Statistics, cette fonction affiche le taux de performance de traitement. Pour plus d'informations, consultez Afficher les Statistiques.

  • Exec time, cette fonction affiche le temps d'exécution dans la console, à la fin de l'exécution. Pour plus d'informations, consultez Afficher la durée d'exécution et d'autres options.

  • Save Job before execution, cette fonction permet de sauvegarder automatiquement le Job ou la Route avant son exécution.

  • Clear before run, cette fonction efface tous les résultats de l'exécution précédente avant de ré-exécuter le Job ou la Route.

  • log4jLevel, cette fonctionnalité vous permet de modifier le niveau de sortie lors de l'exécution pour log4j dans les composants du Job ou de la Route. Pour plus d'informations, consultez Personnaliser le niveau de sortie du log4j à l'exécution.

  • JVM Setting, cette fonction vous permet de définir les paramètres de votre JVM selon vos besoins. Pour un exemple concernant l'utilisation de cette fonction, consultez Afficher des caractères spéciaux dans la console.

Afficher les Statistiques

La fonction Statistics affiche pour chacun des composants son taux de performance, en dessous des connexions dans l'espace de modélisation.

Sont indiqués le nombre de lignes traitées et la vitesse de traitement en ligne par seconde. Vous pouvez ainsi plus facilement repérer d'éventuels goulots d'étranglement dans le traitement de votre flux de données.

Pour les liens de déclenchement de type If, OnComponentOk, OnComponentError, OnSubjobOk et OnSubjobError, l'option Statistics affiche l'état de ce déclenchement durant l'exécution de votre Job : Ok ou Error et True ou False.

Note

Cette option est disponible pour tous les composants, à l'exception des composants externes, qui ne peuvent offrir cette fonctionnalité que si leur conception le prévoit.

Dans la vue Run, cochez la case Statistics pour activer la fonction Statistiques et décoche la case pour la désactiver.

Le calcul des statistiques ne commence qu'au début de l'exécution du Job ou de la Route et s'arrête lorsque l'exécution s'arrête.

Cliquez sur le bouton Clear pour effacer les statistiques affichées. Cochez la case Clear before Run pour que la fonction de statistiques se réinitialise automatiquement avant chaque exécution.

Note

Les statistiques peuvent ralentir sensiblement les performances d'exécution du Job ou de la Route car le Job ou la Route doit envoyer ces données à l'application afin qu'elles soient affichées.

Vous pouvez également sauvegarder votre Job ou Route avant le début de l'exécution. Cochez la case de l'option correspondante, Save Job before execution.

Afficher la durée d'exécution et d'autres options

Pour afficher le temps total d'exécution, cochez la case Exec time avant d'exécuter votre Job ou Route.

De cette manière vous pouvez vérifier les résultats ou tester votre Job ou votre Route avant de l'envoyer en production.

Vous pouvez aussi nettoyer votre espace de modélisation avant chaque exécution de Job ou Routeen cochant la case Clear before run.

Vous pouvez aussi enregistrer votre Job ou votre Route avant que l'exécution ne commence, en cochant la case Save Job before run.

Afficher des caractères spéciaux dans la console

Le Studio Talend peut afficher des caractères spéciaux dans la console, comme les caractères chinois, japonais ou coréens, par exemple. Pour les afficher, procédez comme suit, avant d'exécuter le Job ou la Route :

  1. Cliquez sur l'onglet Advanced settings.

  2. Dans la zone JVM settings, cochez la case Use specific JVM arguments afin d'activer le tableau Argument.

  3. A côté du tableau Argument, cliquez sur le bouton New..., afin d'ouvrir la boîte de dialogue [Set the VM argument].

  4. Dans la boîte de dialogue, saisissez -Dfile.encoding=UTF-8.

  5. Cliquez sur OK pour fermer la boîte de dialogue.

Cet argument peut être appliqué à toutes vos exécutions de Jobs ou de Routes dans le Studio Talend. Pour plus d'informations concernant l'application d'un argument JVM à toutes les exécutions de Jobs, consultez Préférences d'exécution et de débogage (Talend > Run/Debug).

Définir le nombre de Mo utilisés dans chaque morceau du flux de Talend Data Mapper

Lorsque vous exécutez des Jobs contenant des mappings créés à l'aide de Talend Data Mapper et qui diffusent des données en flux, il est possible de définir le nombre de Mo utilisés dans chaque morceau de ce flux, 10 Mo par défaut. Vous pouvez cependant augmenter ce nombre de Mo si vous avez plus de mémoire à allouer à la transformation.

3) Cliquez sur OK pour ajouter l'argument.

Lorsque vous exécutez des Jobs contenant des mappings créés via Talend Data Mapper et mettant les données en flux, il est possible de spécifier le nombre de Mo utilisés dans chaque morceau de flux. Le nombre par défaut est 10 Mo, mais vous pouvez augmenter cette taille si vous possédez plus de mémoire à allouer à la transformation.

Pour définir le nombre de Mo utilisés dans chaque morceau :

  1. Dans l'onglet Advanced settings de la vue Run, cochez la case Use specific JVM arguments.

  2. Cliquez sur le bouton New et, dans la boîte de dialogue [Set the VM Argument] qui s'ouvre, saisissez l'argument à utiliser.

    Par exemple, saisissez -DTDM_STREAM_MEMORY_LIMIT=20 pour des morceaux de 20 Mo.

  3. Cliquez sur OK pour ajouter l'argument.