Utiliser une règle de validation simple - 6.2

Talend Real-time Big Data Platform Studio Guide utilisateur

EnrichVersion
6.2
EnrichProdName
Talend Real-Time Big Data Platform
task
Création et développement
Qualité et préparation de données
EnrichPlatform
Studio Talend

Après avoir configuré une règle de validation, vous pouvez l'appliquer dans votre Job. Par exemple, appliquez une règle de validation des valeurs lors de la lecture d'une table de base de données. Ce scénario se base sur la règle de validation simple créée dans le Conception d'un Job. Pour plus d'informations concernant cette règle, consultez Règle simple.

Construire le Job

  1. De la Palette, déposez dans l'espace de modélisation graphique un composant d'entrée de base de données, ici un tMysqlInput duquel vous allez lire et vérifiez les valeurs, deux tFileOutputDelimited pour extraire les données valides dans un fichier et les données rejetées dans un autre fichier et un tJava afin d'afficher le nombre de lignes traitées dans la console.

  2. Reliez le composant d'entrée de base de données au premier tFileOutputDelimited à l'aide d'un lien Row > Main.Reliez le tMysqlInput au tJava à l'aide d'un lien OnSubjobOk.

    Note

    Vous pouvez créer un lien Reject entre le composant tMysqlInput et le second tFileOutputDelimited uniquement si vous avez appliqué la règle de validation au composant tMysqlInput.

Configurer les composants

  1. Double-cliquez sur le composant tMysqlInput afin d'afficher sa vue Basic settings.

  2. Sélectionnez Repository dans la liste Property type puis cliquez sur le bouton [...] à côté du champ afin de récupérer les propriétés de connexion correspondant à la métadonnée que vous souhaitez vérifier.

  3. Sélectionnez Repository dans la liste déroulante Schema puis cliquez sur le bouton [...] afin de récupérer le schéma correspondant à votre table de base de données.

  4. Cliquez sur le bouton [...] à côté du champ Table pour sélectionner la table à vérifier.

  5. Cliquez sur le bouton Guess Query pour récupérer automatiquement la requête correspondant au schéma de la table.

Appliquer la règle de validation et créer un lien de rejet

Comme l'option On select est sélectionnée pour cette règle de validation, la règle de validation doit être appliquée au composant d'entrée.

  1. Cliquez sur l'onglet Validation Rules dans la vue Component du composant tMysqlInput.

  2. Cochez la case Use an existing validation rule pour appliquer la règle de validation au composant.

  3. Dans la liste Validation Rule Type, sélectionnez Repository puis cliquez sur le bouton [...] pour sélectionner la règle de validation dans la boîte de dialogue [Repository Content].

  4. Cliquez-droit sur le composant tMysqlInput, sélectionnez Row > Reject dans le menu et déposez le second composant tFileOutputDelimited afin de créer un lien de rejet entre les deux composants.

    Si vous activez l'option Reject link pour cette règle de validation, vous pouvez récupérer les données rejetées dans un flux de rejet.

Configurer les composants de sortie et visualiser le résultat de l'exécution du Job

  1. Double-cliquez sur le premier composant tFileOutputDelimited afin d'afficher sa vue Basic settings.

  2. Dans le champ File Name, spécifiez le chemin d'accès au fichier dans lequel écrire les données valides, ainsi que son nom.

  3. Dans les champs Row Separator et Field Separator, saisissez respectivement le séparateur de lignes et le séparateur de champs.

  4. Cochez la case Include Header afin d'inclure les en-têtes des colonnes dans les données de sortie.

  5. Répétez les étapes ci-dessus pour le second composant tFileOutputDelimited afin de configurer la sortie des données rejetées.

  6. Double-cliquez sur le composant tJava afin d'afficher sa vue Basic settings.

  7. Dans le champ Code, saisissez le code qui affichera le nombre de lignes traitées mises à jour, insérées et rejetées :

    System.out.println("Valid data: "+((Integer)globalMap.get("tFileOutputDelimited_1_NB_LINE"))+"\nRejected
    data: "+((Integer)globalMap.get("tFileOutputDelimited_2_NB_LINE")));
  8. Sauvegardez votre Job et appuyez sur F6 pour l'exécuter.

Les données valides sont écrites en sortie dans le premier fichier délimité et les rejets dans le second. La console affiche le nombre de lignes valides et le nombre de rejets traités dans le Job.