Utiliser des expressions régulières et des modèles SQL dans une analyse de colonne(s)
Vous pouvez utiliser des expressions régulières ou des modèles SQL dans des analyses de colonne(s). Ces expressions et modèles vous permettent de définir le contenu, la structure et la qualité des données des colonnes analysées.
Pour plus d'informations sur les expressions régulières et les modèles SQL, consultez Modèles et indicateurs et Les étapes de l'analyse de tables de base de données.
Ajouter une expression régulière ou un modèle SQL dans une analyse de colonne(s)
Vous pouvez ajouter une ou plusieurs expression(s) régulière(s) ou un ou plusieurs modèle(s) SQL à toute analyse de colonne(s). Vous pourrez comparer le contenu des colonnes à analyser à l'expression régulière ou au modèle SQL ajouté(e).
Si la base de données que vous utilisez ne supporte pas les expressions régulières ou si le modèle de la requête n'est pas défini dans le Studio Talend, vous devez d'abord déclarer la fonction personnalisée et définir le modèle de la requête avant de pouvoir ajouter l'un des modèles spécifiés à l'analyse de colonne(s).
Pour plus d'informations, consultez Gérer les fonctions personnalisées dans les bases de données.
Before you begin
- Vous avez sélectionné la perspective Profiling .
- Une analyse de colonne(s) doit être ouverte dans l'éditeur.
Procedure
-
Dans la section Analyzed Columns (Colonnes analysées) de l'éditeur d'analyse, cliquez sur
à côté du nom de la colonne à laquelle vous souhaitez ajouter une expression régulière ou un modèle SQL, la colonne email par exemple.
La boîte de dialogue [Pattern Selector] s'ouvre. -
Sauvegardez l'analyse et appuyez sur F6 pour l'exécuter.
L'éditeur passe à la vue Analysis result. Les résultats de l'analyse de colonnes comprennent ceux de la correspondance de modèles.
Results
Si l'expression régulière que vous avez ajoutée à l'analyse de colonnes est définie pour une base de données, vous pouvez générer un Job ETL afin de récupérer des lignes valides et invalides.
Si l'expression régulière ajoutée à l'analyse de colonnes est définie pour le langage Java ou Default, vous pouvez générer des Jobs ETL pour gérer les lignes.
Modifier un modèle dans l'analyse de colonne·s
Before you begin
Procedure
-
Dans la section Analyzed Columns (Colonnes analysées) de l'éditeur d'analyses, cliquez-droit sur le modèle que vous souhaitez modifier, puis sélectionnez Edit pattern (Modifier le modèle) dans le menu contextuel.
L'éditeur de modèle s'ouvre et affiche les métadonnées du modèle sélectionné.
Voir les données analysées par rapport aux modèles
Before you begin
About this task
Lorsque vous ajoutez un ou plusieurs modèle·s à une colonne analysée, vous vérifiez toutes les données existantes dans la colonne par rapport au·x modèle·s spécifié·s. Après l'exécution de l'analyse de colonne, vous pouvez accéder à une liste de toutes les données valides/invalides dans la colonne analysée.
Lorsque vous utilisez le moteur Java pour exécuter l'analyse, la vue des données courantes s'ouvre dans la perspective Profiling . Si vous utilisez le moteur SQL pour exécuter l'analyse, la vue des données s'ouvre dans la perspective Data Explorer.
Si vous n'installez pas ces bibliothèques, la perspective Data Explorer sera absente du Studio Talend et de nombreuses fonctionnalités ne seront pas disponibles. Pour plus d'informations concernant l'identification et l'installation des modules externes, consultez Installer des modules externes dans le Studio Talend.
Pour voir les données de la colonne analysée par rapport à un modèle spécifique, procédez comme suit :
Procedure
-
Parcourez l'indicateur Pattern Matching sous le nom de la colonne analysée.
Le graphique généré pour la correspondance de modèles est accompagné d'un tableau détaillant l'affichage des résultats correspondants.
Results
Si vous utilisez le moteur SQL, la vue s'ouvre dans la perspective Data Explorer et liste toutes les lignes ou les valeurs des données analysées selon les limites définies dans l'explorateur de données.
Cette vue de l'explorateur va également fournir des informations de base concernant l'analyse elle-même. Ces informations sont utiles lorsque vous travaillez avec de nombreuses analyses simultanément.
L'explorateur de données ne supporte pas les connexions dont le nom d'utilisateur·trice est vide, par exemple la connexion en session unique (SSO, Single Sign-On) de MS SQL Server. Si vous analysez des données à l'aide d'une de ces connexions et que vous essayez de visualiser les lignes et les valeurs des données dans la perspective Data Explorer, un message d'avertissement apparaît et vous demande de configurer vos informations de connexion au serveur SQL.
Lorsque vous utilisez le moteur Java, la vue s'ouvre dans la perspective Profiling et liste le nombre de données valides/invalides selon la limite définie dans la vue Analysis parameters de l'éditeur d'analyse. Pour plus d'informations, consultez Utiliser le moteur Java ou SQL.
Vous pouvez sauvegarder la requête exécutée et la lister sous les dossiers Libraries > Source Files dans la vue DQ Repository si vous cliquez sur l'icône de sauvegarde dans la barre d'outils de l'éditeur SQL. Pour plus d'informations, consultez Sauvegarder les requêtes exécutées sur les indicateurs.
Récupérer les lignes valides/invalides
Lorsque vous ajoutez un ou plusieurs modèle·s à une colonne analysée, vous vérifiez toutes les données existantes dans la colonne par rapport au·x modèle·s spécifié·s.
Après l'exécution de l'analyse de colonne, vous pouvez générer un Job prêt à l'emploi récupérant les lignes valides, invalides, ou les deux et les écrit dans des fichiers ou des bases de données en sortie.
Pour plus d'informations, consultez Récupérer les lignes valides/invalides dans une analyse de colonne(s).