Analyser un flux Twitter en quasi temps réel - 6.4

Kafka

author
Talend Documentation Team
EnrichVersion
6.4
EnrichProdName
Talend Big Data
Talend Big Data Platform
Talend Data Fabric
Talend Open Studio for Big Data
Talend Real-Time Big Data Platform
task
Création et développement > Systèmes tiers > Composants Messaging (Intégration) > Composants Kafka
Gouvernance de données > Systèmes tiers > Composants Messaging (Intégration) > Composants Kafka
Qualité et préparation de données > Systèmes tiers > Composants Messaging (Intégration) > Composants Kafka
EnrichPlatform
Studio Talend

Ce scénario s'applique uniquement aux produits Talend Real Time Big Data Platform et Talend Data Fabric.

Pour plus d'informations concernant les technologies supportées par Talend, consultez Composants Talend.

Dans ce scénario, vous créez un Job Spark Streaming pour analyser, après chaque intervalle de 15 secondes, les hashtags les plus utilisés par les utilisateurs de Twitter lorsqu'ils mentionnent Paris, au cours de la période des 20 secondes précédentes.

Un programme tiers open source est utilisé pour recevoir et écrire des flux Twitter dans un sujet Kafka donné, twitter_live par exemple et le Job que vous créez dans ce scénario est utilisé pour consommer les Tweets de ce sujet.

Une ligne de données brutes Twitter avec des hashtags se présente comme exemple à l'adresse suivante https://dev.twitter.com/overview/api/entities-in-twitter-objects#hashtags (en anglais).

Avant de reproduire ce scénario, vous devez vous assurer que votre système Kafka s'exécute correctement et que vous avez les droits et permissions appropriés pour accéder au sujet Kafka à utiliser. Vous avez besoin d'un programme de mise en flux de Twitter afin de transférer des flux Twitter dans Kafka en quasi temps réel. Talend ne fournit pas ce genre de programme mais certains programmes gratuits, créés à cet effet, sont disponibles sur des communautés en ligne, comme Github.

Pour reproduire ce scénario, procédez comme suit :