Prérequis : - 6.5

Machine Learning

author
Talend Documentation Team
EnrichVersion
6.5
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Real-Time Big Data Platform
task
Création et développement > Systèmes tiers > Composants Machine Learning
Gouvernance de données > Systèmes tiers > Composants Machine Learning
Qualité et préparation de données > Systèmes tiers > Composants Machine Learning
EnrichPlatform
Studio Talend
  • Deux ensembles de messages texte SMS : l'un est utilisé pour apprendre des modèles de classification et l'autre est utilisé pour évaluer les modèles créés. Vous pouvez télécharger l'ensemble train (apprentissage) depuis trainingSet.zip et l'ensemble test depuis testSet.zip.

    Talend a créé ces deux ensembles à partir de l'ensemble de données téléchargeable depuis https://archive.ics.uci.edu/ml/datasets/SMS+Spam+Collection, en utilisant le Job dataSet_preparation pour ajouter trois colonnes de caractéristiques (nombre de symboles monétaires, nombre de valeurs et nombre de points d'exclamation) à l'ensemble de données brutes et diviser proportionnellement l'ensemble de données.

    Un exemple de message indésirable se présente comme suit :
    Free entry in 2 a wkly comp to win FA Cup final tkts 21st May 2005. Text FA to 87121 to receive entry question(std txt rate)T&C's apply 08452810075over18's
    Un exemple de message normal se présente comme suit :
    Ahhh. Work. I vaguely remember that! What does it feel like? Lol

    Notez que les nouvelles caractéristiques ajoutées à l'ensemble de données brutes sont le résultat de l'observation des messages indésirables utilisés spécifiquement dans ce scénario (ces messages indésirables contiennent souvent des prix et/ou des points d'exclamation) et ne peuvent être généralisés pour les messages indésirables que vous souhaitez analyser. De plus, l'ensemble de données a été divisé aléatoirement en deux ensembles de données et utilisé tel quel. Cependant, dans un cas d'utilisation réelle, vous pouvez continuer à pré-traiter ces données de différentes méthodes, comme en équilibrant les ensembles de données afin de mieux apprendre votre modèle de classification.

  • Les deux ensembles doivent être stockés sur la machine où le Job sera exécuté, par exemple dans le système HDFS de votre cluster YARN si vous utilisez le mode Yarn client de Spark pour exécuter des Jobs Spark Talend et que vous avez les droits et permissions appropriés, en lecture et écriture de données dans ce système.

    Dans ce scénario, le client Spark Yarn client est utilisé et les ensembles de données sont stockés dans la système HDFS associé.

  • Le cluster Spark à utiliser doit avoir été configuré correctement et être en cours d'exécution.