Configuration d'un Job Big Data Streaming utilisant le framework Spark Streaming - 6.5

Kinesis

EnrichVersion
6.5
EnrichProdName
Talend Data Fabric
Talend Real-Time Big Data Platform
EnrichPlatform
Studio Talend
task
Création et développement > Systèmes tiers > Composants Messaging (Intégration) > Composants Kinesis
Gouvernance de données > Systèmes tiers > Composants Messaging (Intégration) > Composants Kinesis
Qualité et préparation de données > Systèmes tiers > Composants Messaging (Intégration) > Composants Kinesis
Avant d'exécuter votre Job, vous devez le configurer pour utiliser votre cluster Amazon EMR.

Procédure

  1. Comme votre Job s'exécute sur Spark, il est nécessaire d'ajouter un composant tHDFSConfiguration et de le configurer pour utiliser la métadonnée de connexion à HDFS provenant du référentiel.
  2. Dans la vue Run, cliquez sur l'onglet Spark Configuration.
  3. Dans le panneau Cluster Version, configurez votre Job pour qu'il utilise votre métadonnée de connexion au cluster.
  4. Dans le champ Batch size, saisissez 2000 ms.
  5. Vous allez paramétrer des propriétés avancées, vous devez donc sélectionner Built-In dans la liste Property Type.
  6. Dans le panneau Tuning, cochez la case Set tuning properties et configurez les champs comme suit.
  7. Exécutez votre Job.

    L'affichage des données dans la console prend quelques minutes.