Procédure
-
Double-cliquez sur le tKafkaInput pour ouvrir sa vue Component.
- Dans le champ Broker list, saisissez l'emplacement des brokers du cluster Kafka à utiliser, en les séparant à l'aide d'une virgule (,). Dans cet exemple, seul un broker existe et son emplacement est localhost:9092.
- Dans la liste Starting offset, sélectionnez le point de départ duquel les messages d'un sujet sont consommés. Dans ce scénario, sélectionnez From latest, ce qui signifie commencer par le message le plus récent ayant été consommé par le même groupe de consommateurs et à partir duquel l'offset a été commité.
-
Dans le champ Topic name, saisissez le nom du topic duquel le Job consomme Job des flux Twitter. Dans ce scénario, le topic est twitter_live.
Ce sujet doit exister dans votre système Kafka. Pour plus d'informations concernant la création d'un topic Kafka, consultez la documentation d'Apache Kafka ou utilisez le composant tKafkaCreateTopic. Notez que le tKafkaCreateTopic n'est pas disponible pour les Jobs Spark.
- Cochez la case Set number of records per second to read from each Kafka partition. Cela permet de limiter la taille de chaque micro-batch à envoyer pour traitement.