Propriétés du tCompareColumns pour Apache Spark Batch - 6.5

Natural Language Processing

author
Talend Documentation Team
EnrichVersion
6.5
EnrichProdName
Talend Big Data Platform
Talend Data Fabric
Talend Real-Time Big Data Platform
task
Création et développement > Systèmes tiers > Traitement automatique du langage naturel
Gouvernance de données > Systèmes tiers > Traitement automatique du langage naturel
Qualité et préparation de données > Systèmes tiers > Traitement automatique du langage naturel
EnrichPlatform
Studio Talend

Ces propriétés sont utilisées pour configurer le tCompareColumns s'exécutant dans le framework de Jobs Spark Batch.

Le composant tCompareColumns Spark Batch appartient à la famille Natural Language Processing.

Le composant de ce framework est disponible dans tous les produits Talend Platform avec Big Data et dans Talend Data Fabric.

Basic settings

Schema et Edit Schema

Un schéma est une description de lignes. Il définit le nombre de champs (colonnes) dans le Repository. Lorsque vous créez un Job Spark, évitez le mot réservé line lors du nommage des champs.

Cliquez sur Sync columns pour récupérer le schéma du composant précédent dans le Job.

Créez le schéma en cliquant sur le bouton Edit Schema. Si le schéma est en mode Repository, trois options sont disponibles :

  • View schema : sélectionnez cette option afin de voir le schéma.

  • Change to built-in property : sélectionnez cette option pour passer le schéma en mode Built-In et effectuer des modifications locales.

  • Update repository connection : sélectionnez cette option afin de modifier le schéma stocké dans le référentiel et décider de propager ou non les modifications à tous les Jobs. Si vous souhaitez propager les modifications uniquement au Job courant, cliquez sur No et sélectionnez à nouveau la métadonnée du schéma dans la fenêtre [Repository Content].

En fonction des algorithmes définis dans la table Comparison options, ajoutez autant de colonnes que nécessaire au schéma de sortie :
  • deux colonnes pour l'algorithme Most similar in list (2 outputs),

  • une colonne pour l'algorithme First letter corresponds (1 output),

  • une colonne pour l'algorithme Is substring (1 output).

 

Built-In : le schéma est créé et conservé ponctuellement pour ce composant seulement. Consultez également : le Guide utilisateur du Studio Talend .

 

Repository : Le schéma existe déjà et est stocké dans le Repository. Ainsi, il peut être réutilisé dans des Jobs et projets. Consultez également : le Guide utilisateur du Studio Talend .

Comparison options

Dans cette table, configurez les règles de comparaison entre des termes individuels dans deux colonnes.

La colonne spécifiée dans Main column contient les termes individuels à comparer aux termes individuels de références présents dans la colonne spécifiée dans Reference column.

Dans la colonne Algorithms, sélectionnez l'algorithme utilisé pour chaque comparaison :

  • Most similar in list (2 outputs) : La colonne spécifiée dans Main column doit contenir un terme individuel par ligne. Chaque ligne de la colonne spécifiée dans Reference column peut contenir un terme individuel ou une chaîne de caractères comportant plusieurs termes individuels séparés par une tabulation. La première sortie contient la plus grande distance de Jaro-Winkler entre le terme individuel dans la colonne Main column et tous les termes individuels de la colonne Reference column. La deuxième sortie contient le terme individuel le plus proche de la colonne Reference column.

  • First letter corresponds (1 output) : Les colonnes spécifiées dans les colonnes Main column et Reference column contiennent un terme individuel par ligne. Dans la sortie, T est retourné si les deux termes individuels commencent par la même lettre. F est retourné si la première lettre est différente.

  • Is substring (1 output) : Les colonnes spécifiées dans les colonnes Main column et Reference column contiennent un terme individuel par ligne. Dans la sortie, T est retourné si le terme individuel de la colonne Main column est une sous-chaîne du terme individuel de la chaîne Reference column. Si ce n'est pas le cas, F est retourné.

Output column(s) : Spécifiez les colonnes qui contiennent les résultats de la comparaison dans le schéma de sortie.

Utilisation

Règle d'utilisation

Ce composant est utilisé comme étape intermédiaire.

Ce composant, ainsi que la Palette Spark Batch à laquelle il appartient, ne s'affiche que lorsque vous créez un Job Spark Batch.

Connexion à Spark Batch

Vous devez utiliser l'onglet Spark Configuration dans la vue Run afin de définir la connexion à un cluster Spark donné pour le Job entier. De plus, puisque le Job attend ses fichiers .jar dépendants pour l'exécution, vous devez spécifier le répertoire du système de fichiers dans lequel ces fichiers .jar sont transférés afin que Spark puisse accéder à ces fichiers :
  • Yarn mode : lorsque vous utilisez Google Dataproc, spécifiez un bucket dans le champ Google Storage staging bucket de l'onglet Spark configuration. Lorsque vous utilisez d'autres distributions, utilisez un composant tHDFSConfiguration afin de spécifier le répertoire.

  • Standalone mode : vous devez choisir le composant de configuration selon le système de fichiers que vous utilisez, comme tHDFSConfiguration ou tS3Configuration.

Cette connexion fonctionne uniquement pour le Job dans lequel vous l'avez définie.