Lire des messages d'un sujet Kafka donné - 7.0

Kafka

author
Talend Documentation Team
EnrichVersion
7.0
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Open Studio for Big Data
Talend Real-Time Big Data Platform
task
Création et développement > Systèmes tiers > Composants Messaging (Intégration) > Composants Kafka
Gouvernance de données > Systèmes tiers > Composants Messaging (Intégration) > Composants Kafka
Qualité et préparation de données > Systèmes tiers > Composants Messaging (Intégration) > Composants Kafka
EnrichPlatform
Studio Talend

Procédure

  1. Double-cliquez sur le tKafkaInput pour ouvrir sa vue Component.
  2. Dans le champ Broker list, saisissez l'emplacement des brokers du cluster Kafka à utiliser, en les séparant à l'aide d'une virgule (,). Dans cet exemple, seul un broker existe et son emplacement est localhost:9092.
  3. Dans la liste Starting offset, sélectionnez le point de départ duquel les messages d'un sujet sont consommés. Dans ce scénario, sélectionnez From latest, ce qui signifie commencer par le message le plus récent ayant été consommé par le même groupe de consommateurs et à partir duquel l'offset a été commité.
  4. Dans le champ Topic name, saisissez le nom du sujet duquel le Job consomme Job des flux Twitter. Dans ce scénario, le sujet est twitter_live.
    Ce sujet doit exister dans votre système Kafka. Pour plus d'informations concernant la création d'un sujet Kafka, consultez la documentation d'Apache Kafka ou utilisez le composant tKafkaCreateTopic fourni avec le Studio. Notez que le tKafkaCreateTopic n'est pas disponible pour les Jobs Spark.
  5. Cochez la case Set number of records per second to read from each Kafka partition. Cela permet de limiter la taille de chaque micro-batch à envoyer pour traitement.