Scénario 1 : Lire des données directement dans la mémoire cache afin d'y accéder rapidement - 6.1

Composants Talend Open Studio Guide de référence

EnrichVersion
6.1
EnrichProdName
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for Data Quality
Talend Open Studio for ESB
Talend Open Studio for MDM
task
Création et développement
Gouvernance de données
Qualité et préparation de données
EnrichPlatform
Studio Talend

Le Job suivant lit dans la mémoire cache un large volume de données écrites par deux composants tHashOutput et envoie le contenu dans un tFileOutputDelimited. L'objectif de ce Job est de montrer la vitesse de lecture et d'écriture des données. En pratique, les données ainsi générées peuvent être utilisées comme table de référence dans certains cas où un grand volume de données doit être référencé.

Déposer et relier les composants

  1. Glissez-déposez les composants suivants de la Palette dans l'espace de modélisation graphique : deux tFixedFlowInput, deux tHashOutput, un tHashInput et un tFileOutputDelimited.

  2. Reliez le premier tFixedFlowInput au premier tHashOutput à l'aide d'un lien Row > Main.

  3. Reliez le second tFixedFlowInput au second tHashOutput à l'aide d'un lien Row > Main.

  4. Connectez le premier sous-job (composant tFixedFlowInput_1) au deuxième sous-job (composant tFixedFlowInput_2) à l'aide d'un lien OnSubjobOk.

  5. Reliez le tHashInput au tFileOutputDelimited à l'aide d'un lien Row > Main.

  6. Connectez le deuxième sous-job au dernier sous-job à l'aide d'un lien OnSubjobOk.

Configurer les composants

Configurer les entrées de données et le cache
  1. Double-cliquez sur le premier tFixedFlowInput pour afficher sa vue Basic settings et configurer ses propriétés de base.

  2. Dans la liste Schema, sélectionnez Built-In.

    Note

    Vous pouvez sélectionner Repository dans la liste Schema afin de renseigner automatiquement les champs, si la métadonnée correspondante est stockée dans le Repository. Pour plus d'informations concernant la centralisation des métadonnées, consultez le chapitre relatif aux métadonnées dans le Guide utilisateur du Studio Talend.

  3. Cliquez sur le bouton [...] à côté du champ Edit schema afin de définir la structure des données du flux d'entrée. Dans ce cas, le schéma contient deux colonnes : ID et ID_Insurance. Cliquez sur OK pour fermer la boîte de dialogue.

  4. Dans le champ Number of rows, saisissez le nombre d'entrées à écrire, ici 50000.

  5. Sélectionnez l'option Use Single Table. Dans la table Values, saisissez, dans la colonne Value, une valeur pour chaque colonne, ici 1 pour ID et 3 pour ID_Insurance.

  6. Effectuez la même opération pour le second tFixedFlowInput et saisissez 2 pour ID et 4 pour ID_Insurance.

  7. Double-cliquez sur le premier tHashOutput afin d'afficher sa vue Basic settings et définir ses propriétés.

  8. Dans la liste Schema, sélectionnez Built-In puis cliquez sur le bouton Sync columns afin de récupérer le schéma du composant précédent. Sélectionnez Keep all dans la liste Keys management et laissez la case Append cochée.

  9. Effectuez la même opération pour le second tHashOutput. Cochez sa case Link with a tHashOutput

Configurer la récupération des données du cache et la sortie des données.
  1. Double-cliquez sur le composant tHashInput pour afficher sa vue Basic settings et définir ses propriétés.

  2. Dans la liste Schema, sélectionnez Built-In. Cliquez sur le bouton [...] à côté du champ Edit schema pour définir la structure des données, la même que dans le tHashOutput.

  3. Sélectionnez tHashOutput_1 dans la liste Component list.

  4. Double-cliquez sur le composant tFileOutputDelimited pour afficher sa vue Basic settings et configurer ses propriétés.

  5. Dans la liste Property Type, sélectionnez Built-In. Dans le champ File Name, saisissez le chemin d'accès à votre fichier ou cliquez sur le bouton [...] afin de parcourir votre système jusqu'à votre fichier. Ici, le chemin d'accès est le suivant : "E:/Allr70207V5.0/Talend-All-r70207-V5.0.0NB/workspace/out.csv"

  6. Cochez la case Include Header puis cliquez sur le bouton Sync columns afin de récupérer le schéma du composant précédent.

Exécuter le Job

Sauvegardez votre Job et appuyez sur F6 pour l'exécuter.

Vous pouvez voir que les nombreuses entrées ont été écrites et lues de manière très rapide.