Analyser des données en utilisant les arbres décisionnels et l'algorithme Random forest - Cloud - 8.0

Rapprochement de données à l'aide des outils Talend

Version
Cloud
8.0
Language
Français
Product
Talend Big Data Platform
Talend Data Fabric
Talend Data Management Platform
Talend Data Services Platform
Talend MDM Platform
Talend Real-Time Big Data Platform
Module
Studio Talend
Content
Création et développement > Systèmes tiers > Composants Data Quality > Composants de rapprochement > Composants de rapprochement continu
Création et développement > Systèmes tiers > Composants Data Quality > Composants de rapprochement > Composants de rapprochement de données
Création et développement > Systèmes tiers > Composants Data Quality > Composants de rapprochement > Composants de rapprochement flou
Création et développement > Systèmes tiers > Composants Data Quality > Composants de rapprochement > Composants de rapprochement utilisant l'apprentissage automatique
Gouvernance de données > Systèmes tiers > Composants Data Quality > Composants de rapprochement > Composants de rapprochement continu
Gouvernance de données > Systèmes tiers > Composants Data Quality > Composants de rapprochement > Composants de rapprochement de données
Gouvernance de données > Systèmes tiers > Composants Data Quality > Composants de rapprochement > Composants de rapprochement flou
Gouvernance de données > Systèmes tiers > Composants Data Quality > Composants de rapprochement > Composants de rapprochement utilisant l'apprentissage automatique
Qualité et préparation de données > Systèmes tiers > Composants Data Quality > Composants de rapprochement > Composants de rapprochement continu
Qualité et préparation de données > Systèmes tiers > Composants Data Quality > Composants de rapprochement > Composants de rapprochement de données
Qualité et préparation de données > Systèmes tiers > Composants Data Quality > Composants de rapprochement > Composants de rapprochement flou
Qualité et préparation de données > Systèmes tiers > Composants Data Quality > Composants de rapprochement > Composants de rapprochement utilisant l'apprentissage automatique
Last publication date
2024-02-07
L'arbre décisionnel est un algorithme glouton qui effectue un partitionnement binaire récursif de l'espace de l'attribut.

Chaque partition est choisie en sélectionnant le meilleur partitionnement parmi un ensemble de partitionnements possibles, afin de maximiser le gain d'information à chaque nœud de l'arbre. Le gain d'information est lié à l'impureté du nœud, qui mesure l'homogénéité des libellés à un nœud donné.

L'implémentation actuelle fournit deux mesures d'impureté pour la classification :

  • L'index de Gini
  • Entropie où fi est la fréquence du label i à un nœud donné.

Afin d'être partitionnée, chaque attribut continu doit être discrétisé. Le nombre de boîtes de chaque attribut doit être géré par le paramètre Max Bins. Augmenter la valeur de ce paramètre permet à l'algorithme de prendre en considération davantage de candidat pour le partitionnement et de prendre des décisions plus fines. Cependant, cela augmente les besoins en calculs. La construction de l'arbre de décision s'arrête dès que l'une des conditions suivantes est respectée :

  • La profondeur du nœud est égale à la profondeur maximale d'un arbre. Les arbres de décisions plus profonds sont plus expressifs mais ils sont également plus consommateurs en ressources et sujets au sur-apprentissage.
  • Aucun candidat au partitionnement n'apporte de gain d'information supérieur à la valeur de Min Info Gain.
  • Aucun candidat au partitionnement ne produit de nœuds descendants, ayant chacun au moins un nombre de lignes égal à Min Instance Per Node.

L'algorithme Random forest exécuté plusieurs fois l'algorithme des arbres de décisions (contrôlé par le paramètre numTrees), sur un sous-ensemble du jeu de données et un sous-ensemble des attributs.

Ces deux sous-ensembles sont gérés par deux paramètres :

  • Le taux de sous-échantillonnage : ce paramètre définit la fraction du jeu de données d'entrée utilisé pour apprendre chaque arbre de décision dans une forêt. Le jeu de données est créé selon la méthode de l'échantillonnage par remplacement, ce qui veut dire que, par exemple, une ligne peut être présente plusieurs fois.
  • La stratégie d’échantillonnage : ce paramètre définit le nombre d'attributs à prendre en considération pour chaque arbre. Vous pouvez définir l'une des valeurs suivantes :
    • auto: la stratégie est automatiquement basée sur le nombre d'arbres dans la forêt.
    • all : le nombre total de caractéristiques est considéré pour la division.
    • sqrt : le nombre de caractéristiques à considérer est la racine carrée du nombre total de caractéristiques.
    • log2: le nombre d'attributs pris en considération est égale à log2(M), où M est le nombre total d'attributs.

Différents arbres seront générées. De nouvelles valeurs peuvent être prédites par vote consensuel au sein de l'ensemble d'arbres.