Accéder au contenu principal Passer au contenu complémentaire

Configuration d'un Job Big Data Streaming utilisant le framework Spark Streaming

Avant d'exécuter votre Job, vous devez le configurer pour utiliser votre cluster Amazon EMR.

Procédure

  1. Comme votre Job s'exécute sur Spark, il est nécessaire d'ajouter un composant tHDFSConfiguration et de le configurer pour utiliser la métadonnée de connexion à HDFS provenant du référentiel.
  2. Dans la vue Run, cliquez sur l'onglet Spark Configuration.
  3. Dans le panneau Cluster Version, configurez votre Job pour qu'il utilise votre métadonnée de connexion au cluster.
  4. Dans le champ Batch size, saisissez 2000 ms.
  5. Vous allez paramétrer des propriétés avancées, vous devez donc sélectionner Built-In dans la liste Property Type.
  6. Dans le panneau Tuning, cochez la case Set tuning properties et configurez les champs comme suit.
  7. Exécutez votre Job.

    L'affichage des données dans la console prend quelques minutes.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – dites-nous comment nous améliorer !

Laissez vos commentaires ici