Centraliser une règle de validation - 6.3

Talend MDM Platform Studio Guide utilisateur

EnrichVersion
6.3
EnrichProdName
Talend MDM Platform
task
Création et développement
Gouvernance de données
Qualité et préparation de données
EnrichPlatform
Studio Talend

Une règle de validation est une règle simple ou d'intégrité que vous pouvez appliquer à vos éléments de métadonnées afin de vérifier la validité de vos données. Il y a deux types de vérifications. La vérification simple, qui vérifie si les valeurs sont correctes et la vérification de l'intégrité par référence. Les deux vérifications sont applicables aux tables de bases de données, aux colonnes individuelles, aux métadonnées de fichiers et à tout élément pertinent des métadonnées.

Toutes vos règles métier et vos règles de validation peuvent être centralisées dans le Repository des métadonnées, ce qui vous permet de les modifier, de les activer, de les désactiver et de les supprimer selon vos besoins.

Elles peuvent être définies soit à partir de l'entrée des métadonnées Validation Rules, soit directement à partir du schéma ou des colonnes de la métadonnée que vous souhaitez analyser. Elles sont utilisées dans vos Jobs Designs au niveau des composants. Les données qui ne passent pas la vérification de la validation peuvent être facilement récupérées via un lien Reject pour un traitement ultérieur, si nécessaire.

Pour plus d'informations concernant l'utilisation d'une règle de validation dans un Job, consultez Exemple de Job comprenant des règles de validation dans De la théorie à la pratique, exemples de Jobs.

Définir les propriétés générales

Pour créer une règle de validation, procédez comme suit :

  1. Dans la vue Repository, développez le nœud Metadata et cliquez-droit sur Validation Rules. Dans le menu contextuel, sélectionnez Create validation rule.

    Ou

    • Dans la vue Repository, développez le nœud Metadata et développez l'élément des métadonnées que vous souhaitez vérifier. Pour plus d'informations concernant les métadonnées compatibles avec les règles de validation, consultez Sélectionner le déclencheur et le type de validation.

    • Vous pouvez cliquer-droit directement sur le schéma de l'élément des métadonnées ou cliquer-droit sur une colonne de ce schéma et sélectionner Add validation rule... dans le menu.

    L'assistant des règles de validation s'ouvre.

  2. Renseignez les informations générales des métadonnées, comme le nom, l'objectif et la description, dans les champs Name, Purpose et Description. Le champ Status est un champ personnalisé pouvant être défini. Pour plus d'informations, consultez Définir les paramètres des Statuts.

  3. Cliquez sur Next pour passer à l'étape suivante.

Sélectionner le schéma à valider

Dans cette étape, sélectionnez le schéma ou la/les colonne(s) que vous souhaitez vérifier.

  1. Dans l'arborescence à gauche de la fenêtre, sélectionnez l'élément des métadonnées que vous souhaitez vérifier.

  2. Dans le panneau de droite, sélectionnez le/les colonne(s) sur laquelle/lesquelles vous souhaitez effectuer une vérification de validité.

    Note

    Au moins une colonne doit être sélectionnée.

  3. Cliquez sur Next pour passer à l'étape suivante.

Sélectionner le déclencheur et le type de validation

  1. Dans cette étape, vous pouvez sélectionnez l'action qui va déclencher la règle :

    • On select (sur sélection),

    • On insert (sur insertion),

    • On update (sur mise à jour),

    • On delete (sur suppression).

    Note

    Certaines des options de déclenchement des règles peuvent être désactivées selon le type de métadonnée à vérifier. Par exemple, si la métadonnée est un fichier, les déclencheurs On update et On delete ne sont pas applicables.

    Veuillez vous référer au tableau suivant pour avoir la liste complète des options supportées (activées) :

    Elément des métadonnées

    On select

    On insert

    On update

    On delete

    Table de base de données

    V

    V

    V

    V

    Vue de base de données

    V

    -

    -

    -

    Synonyme de base de données

    V

    -

    -

    -

    SAP

    V

    -

    -

    -

    File delimited (Fichier délimité)

    V

    V

    -

    -

    File Positional (Fichier positionnel)

    V

    V

    -

    -

    File RegEx (Fichier Regex)

    V

    V

    -

    -

    File XML (Fichier XML)

    V

    V

    -

    -

    File Excel (Fichier Excel)

    V

    V

    -

    -

    File LDIF (Fichier LDIF)

    V

    V

    -

    -

    LDAP

    V

    V

    V

    V

    Salesforce

    V

    V

    V

    V

    Generic Schema (Schéma générique)

    -

    -

    -

    -

    HL7

    V

    -

    -

    -

    Talend MDM

    V

    V

    V

    V

    WSDL

    V

    -

    -

    -

    Les règles de validation ne sont pas supportées par les métadonnées non mentionnées dans le tableau ci-dessus.

    Lorsque vous sélectionnez le déclencheur On select, la règle de validation doit être appliquée aux composants d'entrée des Job Designs et lorsque vous sélectionnez les déclencheurs On insert, On update et On delete, la règle de validation doit être appliquée aux composants de sortie.

    Vous pouvez sélectionner le type de validation que vous souhaitez effectuer :

    • une règle de validation par référence qui vérifie vos données par rapports à des données de référence,

    • une règle de validation de restriction simple qui vérifie la validité des valeurs du/des champ(s) sélectionné(s) par rapports à des critères simples,

    • une règle de validation personnalisée vous permettant de spécifier vos propres critères Java ou SQL.

  2. Choisissez de créer une règle de référence, une règle simple ou une règle personnalisée.

    Règle de validation par référence

    Pour créer une règle de validation d'intégrité par référence :

    1. Dans la zone Trigger time settings, sélectionnez l'option correspondant à l'action qui va déclencher la validation. Comme les options On insert et On update sont ici sélectionnées, les données seront vérifiées lors d'une action d'insertion ou de mise à jour.

    2. Dans la zone Rule type settings, sélectionnez le type de validation que vous souhaitez appliquer parmi Reference (vérification par référence), Basic Value (vérification simple) et Custom check (vérification personnalisée). Pour vérifier les données selon une référence, sélectionnez Reference Check.

    3. Cliquez sur Next.

    4. Dans cette étape, sélectionnez le schéma de base de données qui sera utilisé comme référence.

    5. Cliquez sur Next.

    6. Dans la liste Source Column, sélectionnez le nom de la colonne que vous souhaitez vérifier et glissez-déposez-le dans le champ Target column par rapport auquel vous souhaitez comparer la colonne.

    7. Cliquez sur Next pour définir comment gérer les données rejetées.

    Règle simple

    Pour créer une règle de validation simple :

    1. Dans la zone Trigger time settings, sélectionnez l'option correspondant à l'action qui déclenchera la validation. Comme l'option On Select est ici sélectionnée, la vérification sera effectuée lors de la lecture des données.

    2. Dans la zone Rule type settings, sélectionnez le type de validation que vous souhaitez appliquer, parmi Reference (vérification par référence), Basic Value (vérification simple) et Custom check (vérification personnalisée). Pour créer une vérification simple des données, sélectionnez Basic Value Check.

    3. Cliquez sur Next.

      Dans cette étape :

    4. Cliquez sur le bouton [+] en bas de la table Conditions afin d'ajouter autant de conditions que nécessaire et sélectionnez And ou Or afin de les combiner. Ici, vous souhaitez ignorer les champs des numéros de téléphone (Phone_num) vides, vous devez donc ajouter deux conditions : récupérer les données qui ne sont pas vides et les données qui ne sont pas nulles.

    5. Cliquez sur Next pour définir comment gérer les données rejetées.

    Règle personnalisée

    Pour créer une règle de validation personnalisée :

    1. Dans la zone Trigger time settings, sélectionnez l'option correspondant à l'action qui déclenchera la validation. Comme l'option On Select est ici sélectionnée, la vérification sera effectuée lors de la lecture des données.

    2. Dans la zone Rule type settings, sélectionnez le type de validation que vous souhaitez appliquer, parmi Reference (vérification par référence), Basic Value (vérification simple) et Custom check (vérification personnalisée). Pour effectuer une vérification personnalisée des données, sélectionnez Custom Check.

    3. Cliquez sur Next.

    4. Dans cette étape, saisissez votre condition Java directement dans le champ de texte ou cliquez sur Expression Editor... pour ouvrir l'[Expression Builder] qui vous permettra de créer votre condition Java. Utilisez l'expression input_row.columnname, où columnname est le nom de la colonne de votre schéma, afin que l'expression s'applique à la colonne souhaitée. Dans la capture d'écran précédente, les données ne sont passées au composant suivant que si la valeur de la colonne idState est supérieure à 0 et inférieure à 51. Pour plus d'informations concernant l'Expression Builder, consultez Utilisation de l'Expression editor.

    5. Cliquez sur Next pour définir comment gérer les données rejetées.

Gérer les données rejetées

Dans cette étape :

  1. Cochez la case Disallow the operation pour que les données ne passant pas la condition ne soient pas écrites en sortie.

  2. Cochez la case Make rejected data available on REJECT link in job design afin de récupérer les données rejetées dans une autre sortie.

  3. Cliquez sur Finish pour créer la règle de validation.

    Une fois créée, la règle de validation s'affiche :

    • Dans le Repository sous le nœud Metadata > Validation Rules,

    • sous le nœud Validation Rules de la table sélectionnée :

    Pour plus d'informations concernant l'utilisation d'une règle de validation dans un Job Design, consultez Exemple de Job comprenant des règles de validation dans l'De la théorie à la pratique, exemples de Jobs.