Propriétés du tMatchModel pour Apache Spark Batch - 7.0

Matching with machine learning

author
Talend Documentation Team
EnrichVersion
7.0
EnrichProdName
Talend Big Data Platform
Talend Data Fabric
Talend Data Management Platform
Talend Data Services Platform
Talend MDM Platform
Talend Real-Time Big Data Platform
task
Création et développement > Systèmes tiers > Composants Data Quality > Composants de rapprochement > Composants de rapprochement utilisant l'apprentissage automatique
Gouvernance de données > Systèmes tiers > Composants Data Quality > Composants de rapprochement > Composants de rapprochement utilisant l'apprentissage automatique
Qualité et préparation de données > Systèmes tiers > Composants Data Quality > Composants de rapprochement > Composants de rapprochement utilisant l'apprentissage automatique
EnrichPlatform
Studio Talend
Talend Data Stewardship

Ces propriétés sont utilisées pour configurer le tMatchModel s'exécutant dans le framework de Jobs Spark Batch.

Le composant tMatchModel Spark Batch appartient à la famille Data Quality.

Le composant de ce framework est disponible dans tous les produits Talend Platform avec Big Data et dans Talend Data Fabric.

Basic settings

Define a storage configuration component

Sélectionnez le composant de configuration à utiliser pour fournir les informations de configuration pour la connexion au système de fichiers cible, comme HDFS.

Si vous laissez cette case décochée, le système de fichiers cible est le système local.

Le composant de configuration à utiliser doit se trouver dans le même Job. Par exemple, si vous avez ajouté un tHDFSConfiguration dans votre Job, vous pouvez le sélectionner pour écrire le résultat dans un système HDFS donné.

Schema et Edit Schema

Un schéma est une description de lignes, il définit le nombre de champs qui sont traités et passés au composant suivant. Il définit le nombre de champs (colonnes) à traiter et à passer au composant suivant. Lorsque vous créez un Job Spark, évitez le mot réservé line lors du nommage des champs.

Cliquez sur Sync columns pour récupérer le schéma du composant précédent dans le Job.

Créez le schéma, en cliquant sur le bouton Edit Schema. Si le schéma est en mode Repository, trois options sont disponibles :

  • View schema : sélectionnez cette option afin de voir le schéma.

  • Change to built-in property : sélectionnez cette option pour passer le schéma en mode Built-In et effectuer des modifications locales.

  • Update repository connection : sélectionnez cette option afin de modifier le schéma stocké dans le référentiel et décider de propager ou non les modifications à tous les Jobs. Si vous souhaitez propager les modifications uniquement au Job courant, cliquez sur No et sélectionnez à nouveau la métadonnée du schéma dans la fenêtre [Repository Content].

 

Built-In : le schéma est créé et conservé ponctuellement pour ce composant seulement. Consultez également : le Guide utilisateur du Studio Talend .

 

Repository : Le schéma existe déjà et est stocké dans le Repository. Ainsi, il peut être réutilisé dans des Jobs et projets. Consultez également : le Guide utilisateur du Studio Talend .

Matching key

Sélectionnez les colonnes sur lesquelles vous souhaitez baser le calcul de correspondance.

Matching label column

Sélectionnez la colonne du flux d'entrée contenant les libellés configurés manuellement sur les paires d'enregistrements suspects.

Si vous cochez la case Integration with Data Stewardship, cette liste ne s'affiche pas. Dans ce cas, la colonne de rapprochement de libellés est la colonne TDS_ARBITRATION_LEVEL, qui contient les libellés définis sur les paires suspectes d'enregistrements, à l'aide de Talend Data Stewardship.

Matching model location

Cochez la case Save the model on file system et, dans le champ Folder, configurez le chemin d'accès au dossier local dans lequel vous souhaitez générer les fichiers de rapprochement.

Si vous souhaitez stocker le modèle dans un système de fichiers spécifique, par exemple S3 ou HDFS, vous devez utiliser le composant correspondant dans le Job et cocher la case Define a storage configuration component dans les propriétés simples de ce composant.

Le bouton pour parcourir votre système ne fonctionne pas en mode Local de Spark. Si vous utilisez le mode Yarn ou Standalone de Spark, assurez-vous d'avoir correctement configuré la connexion dans un composant de configuration au sein du même Job, comme le tHDFSConfiguration.

Integration with Data Stewardship

Cochez cette case pour configurer les paramètres de connexion au serveur de Talend Data Stewardship.

Si vous cochez cette case, le tMatchModel utilise les enregistrements suspects de l'échantillon libellés dans une campagne Grouping, définie sur le serveur de Talend Data Stewardship , ce qui signifie que ce composant peut être utilisé en standalone.

Data Stewardship Configuration

  • URL :

    Saisissez l'adresse pour accéder au serveur de Talend Data Stewardship, avec le suffixe /data-stewardship/, par exemple http://<server_address>:19999/data-stewardship/.

    Si vous travaillez avec Talend Cloud Data Stewardship, utilisez l'une des adresses suivantes pour accéder à l'application :

    • https://tds.us.cloud.talend.com/data-stewardship pour le centre de données des États-Unis.
    • https://tds.eu.cloud.talend.com/data-stewardship pour le centre de données de l'Europe.
  • Username et Password :

    Saisissez les informations d'authentification au serveur de Talend Data Stewardship.

  • Campaign :

    Il affiche le nom technique de la campagne une fois la campagne sélectionnée. Cependant, vous pouvez modifier la valeur du champ afin de la remplacer par un paramètre de contexte par exemple, et passer les variables de contexte à un Job au moment de l'exécution. Ce nom technique est toujours utilisé pour identifier une campagne lorsque le Job communique avec Talend Data Stewardship quelle que soit la valeur du champ Campaign.

    Cliquez sur Find a Campaign pour ouvrir une boîte de dialogue listant les campagnes de type Grouping sur le serveur, pour lesquelles vous avez le rôle de Campaign owner ou pour lesquelles vous avez les droits d'accès.

    Cliquez sur le bouton de rafraîchissement pour récupérer les détails de la campagne depuis le serveur de Talend Data Stewardship.

Advanced settings

Max token number for phonetic comparison

Définissez le nombre maximal de jetons à utiliser dans la comparaison phonétique.

Lorsque le nombre de jetons dépasse la valeur définie dans le champ, aucune comparaison phonétique n'est effectuée sur la chaîne.

Random Forest hyper-parameters tuning

Number of trees range : saisissez un intervalle pour le nombre d'arbres de décision que vous souhaitez construire. Chaque arbre de décision est construit indépendamment à l'aide d'un échantillon aléatoire de caractéristiques.

Augmenter l'intervalle peut améliorer la précision tout en diminuant les variations des prédictions, mais augmente le temps d'apprentissage.

Maximum tree-depth range : saisissez la profondeur de l'arbre de décision à laquelle la construction doit arrêter d'ajouter des nœuds. Les nouveaux nœuds représentent des tests plus avancés sur les caractéristiques des nœuds internes et des possibles libellés de classes contenus par les nœuds des feuilles.

De manière générale, un arbre de décision plus profond est plus expressif et potentiellement plus précis dans ses prédictions, mais consomme également plus de ressources et est plus prompt au surapprentissage.

Set Checkpoint Interval

Définissez la fréquence des points de contrôle. Il est recommandé de conserver la valeur par défaut (10).

Avant de définir la valeur de ce paramètre, activez l'opération de point de contrôle et définissez le répertoire de stockage des points de contrôle dans l'onglet Spark Configuration de la vue Run.

Pour plus d'informations sur les points de contrôle, consultez Logs et points de contrôle des activités de votre Job Spark Apache.

Cross-validation parameters

Number of folds : saisissez le nombre de paquets utilisés pour l'apprentissage ou pour le test des jeux de données.

Evaluation metric type : sélectionnez un type dans la liste. Pour plus d'informations, consultez Précision et rappel ou la page Precision and recall (en anglais).

Random Forest parameters

Subsampling rate : saisissez la valeur numérique pour indiquer la fraction du jeu de données d'entrée utilisée pour l'apprentissage de chaque arbre de la forêt. La valeur par défaut 1.0 est recommandée, ce qui signifie que l'ensemble de données complet est utilisé à des fins de test.

Subset Strategy : sélectionnez la stratégie concernant le nombre de caractéristiques devant être considérées sur chaque nœud interne pour diviser de manière appropriée ce nœud interne (l'ensemble d'apprentissage ou le sous-ensemble d'une caractéristique de ce nœud) en de plus petits sous-ensembles. Ces sous-ensembles sont utilisés pour construire des nœuds enfants.

Chaque stratégie prend en compte un nombre différent de caractéristiques pour trouver le point optimal parmi ces caractéristiques pour la division. Ce point, peut être, par exemple, l'âge 35 de la caractéristique catégorique age.

  • auto : cette stratégie se base sur le nombre d'arbres défini dans le champ Number of trees in the forest de la vue Basic settings. Cette stratégie est celle par défaut.

    Si le nombre d'arbre est 1, la stratégie est all. Si ce nombre est supérieur à 1, la stratégie est sqrt.

  • all : le nombre total de caractéristiques est considéré pour la division.

  • sqrt : le nombre de caractéristiques à considérer est la racine carrée du nombre total de caractéristiques.

  • log2 : le nombre de caractéristiques à considérer est le résultat de log2(M), dans lequel M est le nombre total de caractéristiques.

Max bins

Saisissez la valeur numérique indiquant le nombre maximal de bins utilisés pour diviser les caractéristiques.

Les caractéristiques continues sont automatiquement transformées pour trier les caractéristiques discrètes.

Min info gain

Saisissez le nombre minimum de gain d'information à attendre d'un nœud père vers ses nœuds fils. Lorsque le nombre de gain d'information est inférieur au nombre minimum, la division des nœuds est arrêtée.

La valeur minimum par défaut du gain d'information est 0.0, ce qui signifie qu'aucune information supplémentaire n'est obtenue en divisant un nœud donné. Par conséquent, la division peut être arrêtée.

Pour plus d'informations concernant le calcul du gain d'information, consultez Impurity and Information gain dans la documentation Spark (en anglais).

Min instances per node

Saisissez le nombre minimal d'instances d'apprentissage qu'un nœud doit avoir pour qu'il soit valide pour une division ultérieure.

La valeur par défaut est 1, ce qui signifie que, lorsqu'un nœud contient seulement 1 ligne de données d'apprentissage, sa division s'arrête.

Impurity

Sélectionnez la mesure utilisée pour obtenir la meilleure division de chaque ensemble de divisions.

  • gini : fréquence à laquelle un élément peut être nommé de manière incorrecte dans une division.

  • entropy : combien peuvent être imprévisibles les informations dans chaque division.

Pour plus d'informations concernant le calcul de chaque mesure, consultez Impurity measures, dans la documentation Spark (en anglais).

Set a random seed

Saisissez le numéro de graine aléatoire à utiliser pour le bootstrapping et choisissez les sous-ensembles de caractéristiques.

Data Stewardship Configuration

Ce champ s'affiche uniquement si vous avez coché la case Integration with Data Stewardship dans la vue Basic settings.

Campaign ID :

Il affiche le nom technique de la campagne une fois la campagne sélectionnée. Cependant, vous pouvez modifier la valeur du champ afin de la remplacer par un paramètre de contexte par exemple, et passer les variables de contexte à un Job au moment de l'exécution. Ce nom technique est toujours utilisé pour identifier une campagne lorsque le Job communique avec Talend Data Stewardship quelle que soit la valeur du champ Campaign.

Batch Size : spécifiez le nombre d'enregistrements à traiter dans chaque lot.

Ne modifiez pas la valeur par défaut, à moins de rencontrer un problème de performance. Augmenter la taille des lots peut améliorer les performances mais paramétrer une valeur trop haute peut causer des échecs dans les Jobs.

Use Timestamp format for Date type Cochez cette case écrire en sortie les dates, les heures, les minutes et les secondes contenues dans vos données de type Date. Si vous ne cochez pas cette case, seuls les années, les mois et les jours sont écrits en sortie.

Utilisation

Règle d'utilisation

Ce composant est utilisé comme étape intermédiaire.

Ce composant, ainsi que la Palette Spark Batch à laquelle il appartient, ne s'affiche que lorsque vous créez un Job Spark Batch.

Connexion à Spark Batch

Dans l'onglet Spark Configuration de la vue Run, définissez la connexion à un cluster Spark donné pour le Job complet. De plus, puisque le Job attend ses fichiers .jar dépendants pour l'exécution, vous devez spécifier le répertoire du système de fichiers dans lequel ces fichiers .jar sont transférés afin que Spark puisse accéder à ces fichiers :
  • Yarn mode (Yarn Client ou Yarn Cluster) :
    • Lorsque vous utilisez Google Dataproc, spécifiez un bucket dans le champ Google Storage staging bucket de l'onglet Spark configuration.

    • Lorsque vous utilisez HDInsight, spécifiez le blob à utiliser pour le déploiement du Job, dans la zone Windows Azure Storage configuration de l'onglet Spark configuration.

    • Lorsque vous utilisez Altus, spécifiez le bucket S3 ou le stockage Azure Data Lake (apercu technique) pour le déploiement du Job, dans l'onglet Spark configuration.
    • Lorsque vous utilisez d'autres distributions, utilisez le composant de configuration correspondant au système de fichiers utilisé par votre cluster. Généralement, ce système est HDFS et vous devez utiliser le tHDFSConfiguration.

  • Standalone mode : vous devez choisir le composant de configuration selon le système de fichiers que vous utilisez, comme tHDFSConfiguration ou tS3Configuration.

Cette connexion fonctionne uniquement pour le Job dans lequel vous l'avez définie.