Lire des messages d'un topic Kafka donné - 7.3

Kafka

author
Talend Documentation Team
EnrichVersion
Cloud
7.3
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Open Studio for Big Data
Talend Real-Time Big Data Platform
task
Création et développement > Systèmes tiers > Composants Messaging (Intégration) > Composants Kafka
Gouvernance de données > Systèmes tiers > Composants Messaging (Intégration) > Composants Kafka
Qualité et préparation de données > Systèmes tiers > Composants Messaging (Intégration) > Composants Kafka
EnrichPlatform
Studio Talend

Procédure

  1. Double-cliquez sur le tKafkaInput pour ouvrir sa vue Component.
  2. Dans le champ Broker list, saisissez l'emplacement des brokers du cluster Kafka à utiliser, en les séparant à l'aide d'une virgule (,). Dans cet exemple, seul un broker existe et son emplacement est localhost:9092.
  3. Dans la liste Starting offset, sélectionnez le point de départ duquel les messages d'un sujet sont consommés. Dans ce scénario, sélectionnez From latest, ce qui signifie commencer par le message le plus récent ayant été consommé par le même groupe de consommateurs et à partir duquel l'offset a été commité.
  4. Dans le champ Topic name, saisissez le nom du topic duquel le Job consomme Job des flux Twitter. Dans ce scénario, le topic est twitter_live.
    Ce sujet doit exister dans votre système Kafka. Pour plus d'informations concernant la création d'un topic Kafka, consultez la documentation d'Apache Kafka ou utilisez le composant tKafkaCreateTopic fourni avec le Studio. Notez que le tKafkaCreateTopic n'est pas disponible pour les Jobs Spark.
  5. Cochez la case Set number of records per second to read from each Kafka partition. Cela permet de limiter la taille de chaque micro-batch à envoyer pour traitement.