Configuration d'un Job Big Data Streaming utilisant le framework Spark Streaming - 7.3

Kinesis
Version
7.3
Language
Français
Product
Talend Data Fabric
Talend Real-Time Big Data Platform
Module
Studio Talend
Content
Création et développement > Systèmes tiers > Composants Messaging (Intégration) > Composants Kinesis
Gouvernance de données > Systèmes tiers > Composants Messaging (Intégration) > Composants Kinesis
Qualité et préparation de données > Systèmes tiers > Composants Messaging (Intégration) > Composants Kinesis
Last publication date
2024-02-22
Avant d'exécuter votre Job, vous devez le configurer pour utiliser votre cluster Amazon EMR.

Procédure

  1. Comme votre Job s'exécute sur Spark, il est nécessaire d'ajouter un composant tHDFSConfiguration et de le configurer pour utiliser la métadonnée de connexion à HDFS provenant du référentiel.
  2. Dans la vue Run, cliquez sur l'onglet Spark Configuration.
  3. Dans le panneau Cluster Version, configurez votre Job pour qu'il utilise votre métadonnée de connexion au cluster.
  4. Dans le champ Batch size, saisissez 2000 ms.
  5. Vous allez paramétrer des propriétés avancées, vous devez donc sélectionner Built-In dans la liste Property Type.
  6. Dans le panneau Tuning, cochez la case Set tuning properties et configurez les champs comme suit.
  7. Exécutez votre Job.

    L'affichage des données dans la console prend quelques minutes.