Réduire le poids des mots sans importance dans chaque message - 7.3

Apprentissage automatique (Machine learning)
Version
7.3
Language
Français
Product
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Real-Time Big Data Platform
Module
Studio Talend
Content
Création et développement > Systèmes tiers > Composants Machine Learning
Gouvernance de données > Systèmes tiers > Composants Machine Learning
Qualité et préparation de données > Systèmes tiers > Composants Machine Learning
Last publication date
2024-02-22
Déprécié·e

Procédure

  1. Double-cliquez sur le composant tModelEncoder nommé tf_idf pour ouvrir sa vue Component. Dans ce processus, le tModelEncoder réduit le poids des mots apparaissant très souvent mais dans de trop nombreux messages, car un mot de ce genre n'apporte généralement pas d'information utile lors d'une analyse de texte, comme le mot anglais the.
  2. Répétez les opérations précédemment décrites durant la configuration du tModelEncoder nommé Tokenizer pour ajouter la colonne sms_tf_idf_vect de type Vector au schéma de sortie et définir la transformation comme affiché dans l'image ci-dessus.
    Dans cette transformation, le tModelEncoder utilise Inverse Document Frequency pour réduire le poids des mots apparaissant dans cinq messages ou plus.