Formater automatiquement des données en se basant sur des exemples - Cloud

Guide d'utilisation de Talend Cloud Data Preparation

Version
Cloud
Language
Français
Product
Talend Cloud
Module
Talend Data Preparation
Content
Administration et monitoring > Gestion des connexions
Qualité et préparation de données > Gestion des jeux de données
Qualité et préparation de données > Nettoyage de données
Last publication date
2024-02-21

La fonctionnalité de remplissage par magie offre une solution pratique de formatage de types de données n'ayant pas de fonction dédiée, ou permet de réaliser facilement une suite de transformations à l'aide de la même fonction.

Remarque : Cette fonction n'est pas compatible avec les Jobs Spark, avec les exports HDFS ou S3.

Via un algorithme d'apprentissage automatique, cette fonctionnalité vous permet de définir un modèle se basant sur plusieurs exemples puis, via un algorithme d'apprentissage automatique, d'appliquer la transformation sur une colonne entière.

Pour le moment, le remplissage par magie supporte les types de transformations suivants :

  • substring
  • ajout de constantes (nombres, chiffres, caractères spéciaux),
  • sensibilité à la casse,
  • transformation sémantique pour les pays, les codes postaux et les États des États-Unis, les adresses e-mail, les URL et les dates.

Pour que la fonction puisse fonctionner, vous devez saisir au moins deux exemples de la transformation à appliquer. Vous pouvez ajouter jusqu'à trois autres exemples. Plus vous saisissez d'exemples, plus le modèle sera identifié précisement par la fonction.

Si le programme de transformation généré par la fonction ne s'applique pas à certaines données de la colonne source, elles restent inchangées dans la colonne cible.

Les types de données tels que dates ou phone numbers ont une fonction dédiée pouvant être utilisée pour modifier facilement leur format. Cependant, les types comme full names, social security numbers ou state codes, par exemple, n'ont pas cette fonction. Les scénarios suivants illustrent comment utiliser la fonctionnalité de remplissage par magie afin de formater vos données dans ces cas.