Propriétés du tLogisticRegressionModel dans des Jobs Spark Batch - 6.1

Composants Talend Guide de référence

EnrichVersion
6.1
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Data Integration
Talend Data Management Platform
Talend Data Services Platform
Talend ESB
Talend MDM Platform
Talend Open Studio for Big Data
Talend Open Studio for Data Integration
Talend Open Studio for Data Quality
Talend Open Studio for ESB
Talend Open Studio for MDM
Talend Real-Time Big Data Platform
task
Création et développement
Gouvernance de données
Qualité et préparation de données
EnrichPlatform
Studio Talend

Famille du composant

Machine Learning / Classification

 

Basic settings

Schema et Edit schema

Un schéma est une description de lignes, il définit le nombre de champs (colonnes) qui sont traités et passés au composant suivant. Le schéma est soit local (Built-In), soit distant dans le Repository.

Cliquez sur Edit schema pour modifier le schéma. Si le schéma est en mode Repository, trois options sont disponibles :

  • View schema : sélectionnez cette option afin de voir le schéma.

  • Change to Built-In property : sélectionnez cette option pour passer le schéma en mode Built-In et effectuer des modifications locales.

  • Update repository connection : sélectionnez cette option afin de modifier le schéma stocké dans le référentiel et décider de propager ou non les modifications à tous les Jobs. Si vous souhaitez propager les modifications uniquement au Job courant, sélectionnez No et sélectionnez à nouveau la métadonnée du schéma dans la fenêtre [Repository Content].

 

Label column

Sélectionnez la colonne d'entrée utilisée pour fournir les libellés de classification. Les enregistrements de cette colonne sont utilisés comme noms de classe (cible, en termes de classification) des éléments à classifier.

 

Feature column

Sélectionnez la colonne d'entrée utilisée pour fournir les caractéristiques. Très souvent, cette colonne est la sortie des calculs de pré-traitement des caractéristiques effectués par le tModelEncoder.

 

Save the model on file system

Cochez cette case pour stocker le modèle dans un système de fichiers donné.

 

ElasticNet mixing parameter

Saisissez le coefficient ElasticNet (valeur numérique) utilisé pour le calcul de régularisation afin de contrôler le compromis biais/variance dans la sélection des caractéristiques. ElasticNet est la combinaison des régularisations L1 et L2.

La valeur à saisir varie entre 0.0 et 1.0, indiquant les poids des régularisations L1 et L2 dans la combinaison ElasticNet. Lorsque la valeur est 0.0, la régularisation est équivalente à la régularisation L2. Lorsque la valeur est 1.0, elle est équivalente à la régularisation L1.

Pour plus d'informations concernant l'implémentation de ElasticNet dans Spark, consultez la documentation ML linear methods (en anglais), dans laquelle la formule relative affiche comment la valeur saisie (Îą dans cette formule) est utilisée pour calculer la régularisation ElasticNet.

Pour plus d'informations concernant ElasticNet, consultez Regularization and variable selection via the elastic net (en anglais).

Fit an intercept term

Cochez cette case pour permettre au tLogisticRegressionModel de calculer automatiquement les termes constants et les inclure dans le calcul de régression.

Généralement, le terme constant doit être présent afin de garantir que les résidus du modèle ont une moyenne de zéro.

 

Maximum number of iterations

Saisissez le nombre d'itérations que vous souhaitez que le Job effectue pour apprendre le modèle.

 

Regularization

Saisissez le coefficient de régularisation (valeur numérique) à utiliser avec ElasticNet pour le calcul de régularisation.

Pour plus d'informations concernant l'implémentation de ce paramètre dans Spark, consultez la documentation de ML linear methods (en anglais), dans laquelle la formule relative montre comment la valeur saisie (Îť dans cette formule) est utilisée pour calculer la régularisation éventuelle.

 

Threshold

Saisissez le seuil (valeur numérique entre 0 et 1) utilisé pour séparer les prédictions positives des prédictions négatives. Un élément pour lequel le score de prédiction (probabilité d'être un cas) est supérieur ou égal à ce seuil sera identifié comme positif. Si le score est inférieur, il sera considéré comme négatif.

Le seuil par défaut est 0.5.

 

Convergence tolerance

Saisissez le score de convergence attendu après les itérations.

Généralement, une valeur faible donne des prédictions plus précises, mais demande plus d'itérations.

Dans certains cas, votre modèle peut ne pas réussir à atteindre la convergence saisie, quelque soit le nombre d'itérations que vous souhaitez que le Job effectue. Cet échec de convergence peut indiquer que le score de convergence utilisé n'est pas réaliste par rapports aux caractéristiques que vous traitez. Vous devez donc traiter ces caractéristiques à un plus grand degré.

Utilisation dans des Jobs Spark Batch

Dans un Job Talend Spark Batch, ce composant est utilisé en tant que composant de fin et requiert un lien d'entrée. Les autres composants utilisés avec lui doivent également être des composants Spark Batch. Ils génèrent nativement du code Spark pouvant être directement exécuté dans un cluster Spark.

Vous pouvez accélérer le processus d'apprentissage en ajustant les conditions d'arrêt, comme le nombre maximal d'itérations, le seuil ou la tolérance de la convergence, mais notez que si l'apprentissage s'arrête trop tôt, cela peut avoir un impact sur ses performances.

Évaluation du modèle

les paramètres que vous devez configurer sont des paramètres libres. Leur valeur peut être fournie par des essais, des suppositions empiriques ou autres. Ils n'ont pas de valeur optimale applicable à tous les ensembles de données.

Vous devez apprendre le modèle de classification que vous générez avec différents ensembles de valeurs de paramètres jusqu'à ce que vous obteniez la meilleure matrice de confusion.

Vous devez sélectionner les scores à utiliser selon l'algorithme à utiliser pour apprendre votre modèle de classification. Cela vous permet de construire la matrice de confusion la plus pertinente.

Pour des exemples concernant comment utiliser une matrice de confusion dans un Job Talend à des fins de classification, consultez Création d'un modèle de classification pour filtrer les spams.

Pour des explications générales relatives aux matrices de confusion, consultez les articles de Wikipédia suivants : https://fr.wikipedia.org/wiki/Matrice_de_confusion pour une version française et https://en.wikipedia.org/wiki/Confusion_matrix pour une version anglaise plus détaillée.

Spark Connection

Vous devez utiliser l'onglet Spark Configuration de la vue Run afin de définir la connexion à un cluster Spark donné pour le Job complet. De plus, puisque le Job attend ses fichiers .jar dépendants pour l'exécution, un (et un seul) composant relatif à un système de fichiers de la famille Storage est requis au sein du même Job, afin que Spark puisse utiliser ce composant pour se connecter au système de fichiers auquel les fichiers .jar dépendants du Job sont transférés :

Cette connexion fonctionne uniquement pour le Job dans lequel vous l'avez définie.

Log4j

Si vous utilisez une solution Talend soumise à souscription, l'activité de ce composant peut être journalisée avec la fonctionnalité log4j. Pour plus d'informations sur cette fonctionnalité, consultez le Guide utilisateur du Studio Talend.

Pour plus d'informations sur les niveaux de logs du log4j, consultez la documentation d'Apache : http://logging.apache.org/log4j/1.2/apidocs/org/apache/log4j/Level.html (en anglais).