Propriétés du tDataShuffling Standard

Schema et Edit Schema

Un schéma est une description de lignes. Il définit le nombre de champs (colonnes) à traiter et à passer au composant suivant. Lorsque vous créez un Job Spark, évitez le mot réservé line lors du nommage des champs.

Cliquez sur Sync columns pour récupérer le schéma du composant précédent dans le Job.

Créez le schéma en cliquant sur le bouton Edit Schema. Si le schéma est en mode Repository, trois options sont disponibles :

• View schema : sélectionnez cette option afin de voir uniquement le schéma.

• Change to built-in property : sélectionnez cette option pour passer le schéma en mode Built-In et effectuer des modifications locales.

• Update repository connection : sélectionnez cette option afin de modifier le schéma stocké dans le référentiel et décider de propager ou non les modifications à tous les Jobs. Si vous souhaitez propager les modifications uniquement au Job courant, cliquez sur No et sélectionnez à nouveau la métadonnée du schéma dans la fenêtre Repository Content.

Built-in : le schéma est créé et conservé localement pour ce composant seulement.

Repository : le schéma existe déjà et est stocké dans le Repository. Ainsi, il peut être réutilisé dans des Jobs et projets.

Shuffling columns

Définissez les groupes de colonnes à mélanger :

• Column : sélectionnez les colonnes à mélanger.

• Group ID : sélectionnez l'identifiant du groupe pour grouper les colonnes. Les colonnes ayant le même identifiant de groupe sont mélangées ensemble.

  Ce champ est configuré à 0 par défaut. Cela signifie que la colonne ne fait pas partie du processus de mélange.

Seed for random generator

Configurez un nombre aléatoire si vous souhaitez mélanger les données dans le même ordre pour chaque exécution du Job. La graine n'est pas configurée par défaut.

Si vous ne configurez pas la graine, le composant crée une nouvelle graine aléatoire pour chaque exécution du Job. Répéter l'exécution avec une valeur différente pour ce champ mélange les données dans un ordre différent.

Buffer size

Saisissez la taille de la mémoire physique, en nombre de lignes, que vous souhaitez allouer aux données traitées.

Partitioning columns

Ajoutez les colonnes utilisées pour partitionner les données.

Les colonnes sélectionnées séparent les processus de mélange en petites partitions. Seules les lignes d'une même partition peuvent être mélangées.

tStat Catcher Statistics

Cochez cette case pour collecter les métadonnées de traitement du Job, aussi bien au niveau du Job qu'au niveau de chaque composant.

Règle d'utilisation

Ce composant est généralement utilisé comme composant intermédiaire et nécessite un composant d'entrée et un composant de sortie.