Accéder au contenu principal Passer au contenu complémentaire

Écrire des données dans un flux Amazon Kinesis

Avant de commencer

Dans cette section, supposez que vous avez un cluster Amazon EMR installé et en cours de fonctionnement et que vous avez créé la métadonnée de connexion correspondante dans le référentiel. Vous avez également créé un flux Amazon Kinesis.

Procédure

  1. Créez un Job Big Data Streaming utilisant le framework Spark.
  2. Dans cet exemple, les données, qui seront écrites dans Amazon Kinesis, sont générées à l'aide d'un composant tRowGenerator.
  3. Les données doivent être sérialisées au format byte array avant d'être écrites dans le flux Amazon Kinesis. Ajoutez un composant tWriteDelimitedFields et connectez-le au tRowGenerator.
  4. Configurez le Output type à byte[].
  5. Pour écrire les données dans votre flux Kinesis, ajoutez un composant tKinesisOutput et connectez le composant tWriteDelimitedFields à celui-ci.
  6. Fournissez vos informations d'authentification à Amazon.
  7. Pour accéder à votre flux Kinesis, fournissez le nom du flux et l'URL de l'endpoint correspondant.

    Pour obtenir la bonne URL d'endpoint, consultez AWS Regions and Endpoints.

  8. Saisissez le nombre de shards, comme spécifié lors de la création du flux Kinesis.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – dites-nous comment nous améliorer !

Laissez vos commentaires ici