Liste de fonctions - 8.0

Guide d'utilisation de Talend Data Preparation

Version
8.0
Language
Français
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Talend Data Preparation
Content
Qualité et préparation de données > Nettoyage de données
Last publication date
2024-03-27

Ces tableaux listent toutes les fonctions disponibles dans Talend Data Preparation, ainsi que leurs effets.

Appliquer l'une des fonctions listées ci-dessous, à l'exception des fonctions Math, retourne la valeur d'entrée si les données sont considérées comme invalides ou si le type de données est incompatible avec la fonction sélectionnée, que la case Create new column soit cochée ou non.

Dans le cas de fonctions Math, les valeurs vides sont ignorées, tandis que les valeurs invalides conduisent à un résultat vide lorsque la fonction est appliquée.

Remarque :

Les fonctions suivantes, basées sur des algorithmes de rapprochement, ne supportent pas les caractères asiatiques :

  • Standardize value (fuzzy matching)
  • Find and group similar Text

Fonctions pouvant s'utiliser sur des lignes

Nom Catégorie Description
Delete row data cleansing Supprime cette ligne.
Make as header data cleansing Les cellules de cette ligne deviendront des noms de colonnes, les lignes seront supprimées.

Fonctions pouvant s'utiliser sur des colonnes

Nom Catégorie Description
Negate value boolean Inverse la valeur des booléens des cellules de cette colonne.
Change data type column metadata Modifie le type de cette colonne (nombres, texte, date, etc.).
Change semantic domain column metadata Modifie le domaine sémantique de cette colonne (ville, code postal, nom de famille, etc.).
Create new column column metadata Copie une colonne ou en crée une nouvelle.
Remarque : Utilisée avec l'option Sequence mode, cette fonction n'est pas compatible avec les Jobs Spark et les exports S3.
Delete column (Supprimer la colonne) column metadata Supprime les colonnes sélectionnées.
Duplicate column (Dupliquer la colonne) column metadata Crée une copie exacte de cette colonne.
Rename column (Renommer la colonne) column metadata Renomme cette colonne.
Concatenate columns columns Fusionne le contenu de plusieurs colonnes en une nouvelle.
Concatenate with columns Fusionne le contenu de cette colonne et d'une autre et affiche le résultat dans une nouvelle colonne.
Reorder columns columns Modifie l'ordre des colonnes.
Swap columns columns Intervertit les valeurs avec celle d'une autre colonne.
Convert country names and codes conversions Convertit un nom de pays en un code de pays ISO-3166 (alpha-2, alpha-3 ou numérique) ou vice-versa. Cette fonction supporte les noms et codes anglais, français et japonais.
Convert distance conversions Convertit les unités de mesure de distance.
Convert duration conversions Convertit la durée d'une unité à une autre.
Convert temperature conversions Convertit les unités de mesure de températures
Clear on matching value data cleansing Vide les cellules correspondant à la valeur.
Clear the cells with invalid values data cleansing Vide les cellules contenant une valeur reconnue comme invalide.
Coalescer les colonnes data cleansing Récupère la première valeur non nulle de chaque ligne parmi les colonnes sélectionnées
Suppression des lignes vides data cleansing Supprime les lignes pour lesquelles les cellules de chaque colonne sont vides.
Delete the rows that match data cleansing Supprime les lignes dans lesquelles une cellule de cette colonne a une valeur spécifique.
Delete the rows with empty cell data cleansing Supprime les lignes ayant au moins une cellule vide.
Delete the rows with invalid cell data cleansing Supprime les lignes contenant une cellule invalide.
Delete the rows with negative values data cleansing Supprime les lignes ayant une valeur négative dans cette colonne.
Fill cells with value data cleansing Remplit les cellules de cette colonne avec une valeur donnée.
Fill empty cells from above data cleansing Copie la valeur de la cellule non vide du dessus la plus proche. Dans le cas d'une série de cellules vides, elles seront toutes remplies avec la même valeur d'origine sélectionnée au dessus.
Remarque : Cette fonction n'est pas compatible avec les Jobs Spark et les exports S3.
Fill empty cells with text data cleansing Remplit les cellules vides de cette colonne avec une valeur donnée.
Fill empty cells with value data cleansing Remplit les cellules de cette colonne avec une valeur donnée.
Standardize value (fuzzy matching) data cleansing Remplace les données invalides avec la valeur correcte la plus proche contenu dans un dictionnaire de valeurs.
Remarque : Cette fonction ne supporte pas les caractères asiatiques.
Hash data data masking Hache le contenu d’une colonne avec l’algorithme SHA-256.
Mask data (obfuscation) data masking Masque les données selon le domaine d'informations de la colonne (anonymisation).
Lookup data blending Mélange les colonnes d'un autre jeu de données dans celui-ci.
Calculate time since dates Calcule le temps écoulé depuis une date avec l'unité souhaitée (année, mois, jour, heure, minute, seconde).
Calculate timestamp to date dates Avec un horodatage donné, (temps écoulé en secondes depuis l'heure Unix, autrement dit le 01/01/1970), crée une nouvelle colonne avec la date.
Change date format dates Modifie le format de date à utiliser dans une colonne de date.
Compare dates dates Compare cette colonne à une autre colonne ou à une constante.
Convert dates dates Convertit des dates d'un calendrier à un autre.
Extract date parts dates Crée des colonnes avec les années, mois, trimestres, jours, heures, minutes, secondes, etc.
Modify dates dates Ajoute ou soustrait une durée d'une unité de temps.
Deduplicate rows with identical values dédoublonnage Supprime les lignes partiellement ou entièrement dupliquées et conserve la première de la colonne.
Remarque : Cette fonction n'est pas compatible avec les Jobs Spark et les exports S3.
Delete these filtered rows filtered Supprime uniquement les lignes correspondant aux filtres.
Keep these filtered rows filtered Conserve uniquement les lignes correspondant aux filtres.
Add, multiply, substract or divide math Effectue une opération/un calcul sur cette colonne avec une autre colonne ou une valeur fixe : Add/sum (+) (Ajout/somme), multiply (x) (multiplication), subtract (-) (soustraction), ou divide (/) (division)
Base 10 logarithm math Calcule le logarithme de base 10 d'une colonne.
Calculate absolute value math Calcule la valeur absolue de toutes les valeurs numériques de cette colonne.
Cosine math Calcule le cosinus trigonométrique d'une colonne.
Exponential math Exponentielle d'un nombre d'une colonne.
Max math Rehausse les valeurs inférieures à une constante ou aux valeurs d'une autre colonne, jusqu'à cette constante ou valeur.
Max of columns math Affiche la valeur maximale entre les enregistrements de plusieurs colonnes.
Mean of columns math Calcule la valeur moyenne des enregistrements de plusieurs colonnes.
Median of columns math Calcule la valeur moyenne des enregistrements de plusieurs colonnes.
Min math Rabaisse les valeurs supérieures à une constante ou aux valeurs d'une autre colonne, jusqu'à cette constante ou valeur.
Min of columns math Affiche la valeur minimale entre les enregistrements de plusieurs colonnes.
Modulo math Calcule le reste d'une division.
Multiply columns math Multiplie les valeurs de plusieurs colonnes et affiche le résultat dans une nouvelle colonne.
Natural logarithm math Calcule le logarithme naturel d'une colonne.
Negate math Calcule l'opposé d'un nombre dans une colonne
Power math Élève à la puissance un nombre d'une colonne avec une constante ou une autre colonne.
Sine math Calcule le sinus trigonométrique d'une colonne.
Square root math Calcule la racine carrée d'un nombre dans une colonne.
Sum columns math Calcule la somme des enregistrements de plusieurs colonnes et affiche le résultat dans une nouvelle colonne
Tangent math Calcule la tangente trigonométrique d'une colonne.
Compare numbers numbers Compare cette colonne à une autre colonne ou à une constante.
Format numbers numbers Permet de formater les nombres (décimaux, entiers et scientifiques) dans un format ou modèle spécifique.
Generate sequence numbers Crée une séquence d'entiers positifs ou négatifs dans une colonne, avec le pas de votre choix.
Remarque : Cette fonction n'est pas compatible avec les Jobs Spark et les exports S3.
Remove fractional part numbers Arrondit vers zéro (3,74 -> 3 et -3,74 -> -3).
Remove negative values numbers Remplace les valeurs numériques (entières ou décimales) négatives par une valeur vide
Round value using ceil mode numbers Arrondit au chiffre supérieur, en fonction de la valeur choisie dans le champ Precision (3.14 -> 4 pour une valeur de Precision de 0, et 3.14 -> 3.2 pour une valeur de Precision de 1 ).
Round value using down mode numbers Arrondit vers zéro (3,74 -> 3 et -3,74 -> -3 pour une valeur de Precision de 0).
Round Value using floor mode numbers Arrondit au chiffre inférieur, en fonction de la valeur choisie dans le champ Precision (3.74 -> 3 pour une valeur de Precision de 0, and 3.74 -> 3.7 pour une valeur de Precision de 1 ).
Round Value using halfUp mode numbers Arrondit la valeur à l'entier le plus proche, en fonction de la valeur choisie dans le champ Precision (3,14 -> 3 et 3,74 -> 4 pour une valeur de Precision de 0).
Extract phone number information phones Extrait des informations supplémentaires à partir des numéros de téléphone, comme le type de téléphone, le pays ou le nom de l’opérateur. Chaque champ est extrait dans une nouvelle colonne.
Format phone number phones Formate un numéro de téléphone au format sélectionné.
Extraire des parties d'adresses e-mail split Extrait les parties locale et de domaine d'une adresse e-mail.
Extraire des parties de noms complets split Extrait des informations à partir d'un nom complet, y compris le titre, le prénom, le surnom, le deuxième prénom, le nom et le suffixe.
Extract number split Extrait un nombre de l'entrée.
Extraire des valeurs par regex split Extrait des jetons de chaînes de caractères à partir de groupes de regex.
Extraire des valeurs par type sémantique split Extrait diverses informations dans des colonnes séparées selon des types sémantiques prédéfinis ou personnalisés
Extraire des parties des adresses e-mail split Extrait le protocole, l'hôte, le port, la requête, etc. d'une URL dans des colonnes séparées.
Split the text in parts split Divise les colonnes à partir des séparateurs.
Calculate length strings Extrait le nombre de chiffres d'une valeur (23562 -> 5).
Change to lower Case strings Convertit tout le texte des cellules de cette colonne en minuscules.
Change to title case strings Convertit le contenu du texte de cette colonne en casse de titre (par exemple. "this is an example" -> "This Is an Example").
Change to upper case strings Convertit tout le texte des cellules de cette colonne en majuscules.
Contains text strings Vérifie si la cellule contient la valeur spécifiée.
Extraire une valeur par index strings Extrait des parties du texte (sous-chaîne de caractères) dans une nouvelle colonne
Remplir par magie strings Permet de définir un modèle via des exemples et d'appliquer la transformation à la colonne entière.
Remarque : Cette fonction n'est pas compatible avec les Jobs Spark et les exports S3.
Match similar text strings Crée une nouvelle colonne avec true ou false si la valeur est inférieure ou égale à la distance de Levenshtein d'une valeur donnée.
Matches pattern strings Crée une nouvelle colonne avec true ou false si la valeur correspond ou non à un modèle donné.
Remove consecutive characters strings Supprime les caractères consécutifs répétés.
Remove part of the text strings Supprime le texte spécifié des cellules de cette colonne.
Remove trailing and leading characters strings Supprime les espaces, ou autre caractère spécifié, situé en début et fin de champ.
Search and replace strings Remplace les cellules, ou parties de cellules ayant une valeur spécifique.
Ajoute des caractères supplémentaires. strings advanced Ajoute des caractères supplémentaires (de remplissage) à gauche ou à droite de la valeur originale afin de correspondre à une taille attendue.
Convert character width strings advanced Convertit la chasse des caractères à pleine ou moyenne chasse, ou normalise les chaînes de caractères.
Find and group similar Text strings advanced Remplace toutes les valeurs similaires par la valeur correcte (mise en cluster des termes approximativement semblables).
Remarque : Cette fonction ne supporte pas les caractères asiatiques.
Generate unique identifier (UUID) strings advanced Génère un identifiant unique pour chaque ligne de la colonne.
Remove all non alpha numeric characters strings advanced Nettoie les valeurs qui contiennent des caractères inattendus en supprimant les caractères qui ne sont pas 0-9, Aa-Zz et les lettres accentuées. Les espaces blancs inutiles ne sont pas supprimés.

Par exemple, T=+Âl**€en#d$ 20%1,7 devient TÂlend 2017.

Remove all non numeric characters strings advanced Nettoie les valeurs numériques en supprimant les caractères qui ne sont pas 0-9. Les séparateurs décimaux et les espaces blancs sont conservés.

Par exemple, T=+Âl**€en#d$ 20%1,7 devient 201,7.

Simplifie le texte (supprime la casse, les accents, etc.) strings advanced Simplifie le contenu d'une colonne en le mettant en minuscules, supprimant les accents, normalisant à l'aide de NKFD, divisant les caractères combinés et supprimant les caractères blancs de la chaîne.

Par exemple, François devient francois.

Fonctions pouvant s'utiliser sur la grille

Nom Catégorie Description
Delete empty rows data cleansing Supprime toutes les colonnes qui contiennent uniquement des valeurs vides
Suppression des lignes vides data cleansing Supprime les lignes pour lesquelles les cellules de chaque colonne sont vides.
Change date format dates Modifie le format de date à utiliser dans une colonne de données.
Remove duplicate rows dédoublonnage Supprime les lignes qui sont des doublons exacts pour n'en conserver qu'un seul exemplaire.
Remarque : Cette fonction n'est pas compatible avec les Jobs Spark et les exports S3.
Format numbers numbers Permet de formater les nombres (décimaux, entiers et scientifiques) dans un format ou modèle spécifique.
Format phone number phones Formate un numéro de téléphone au format sélectionné.
Remove trailing and leading characters strings Supprime les espaces, ou autre caractère spécifié, situé en début et fin de champ.
Search and replace strings Remplace les cellules, ou parties de cellules ayant une valeur spécifique.