Écriture de données dans un flux Amazon Kinesis - 6.5

Kinesis

EnrichVersion
6.5
EnrichProdName
Talend Data Fabric
Talend Real-Time Big Data Platform
EnrichPlatform
Studio Talend
task
Création et développement > Systèmes tiers > Composants Messaging (Intégration) > Composants Kinesis
Gouvernance de données > Systèmes tiers > Composants Messaging (Intégration) > Composants Kinesis
Qualité et préparation de données > Systèmes tiers > Composants Messaging (Intégration) > Composants Kinesis

Avant de commencer

Dans cette section, supposez que vous avez un cluster Amazon EMR installé et en cours de fonctionnement et que vous avez créé la métadonnée de connexion correspondante dans le référentiel. Vous avez également créé un flux Amazon Kinesis.

Procédure

  1. Créez un Job Big Data Streaming utilisant le framework Spark.
  2. Dans cet exemple, les données, qui seront écrites dans Amazon Kinesis, sont générées à l'aide d'un composant tRowGenerator.
  3. Les données doivent être sérialisées au format byte array avant d'être écrites dans le flux Amazon Kinesis. Ajotuez un composant tWriteDelimitedFields et connectez-le au tRowGenerator.
  4. Configurez le Output type à byte[].
  5. Pour écrire les données dans votre flux Kinesis, ajoutez un composant tKinesisOutput et connectez le composant tWriteDelimitedFields à celui-ci.
  6. Fournissez vos informations d'authentification à Amazon.
  7. Pour accéder à votre flux Kinesis, fournissez le nom du flux et l'URL de l'endpoint correspondant.

    Pour obtenir la bonne URL d'endpoint, consultez AWS Regions and Endpoints (en anglais).

  8. Saisissez le nombre de shards, comme spécifié lors de la création du flux Kinesis.