Fonctionnement d'un Job Storm Talend - 6.5

Talend Real-Time Big Data Platform Studio Guide utilisateur

EnrichVersion
6.5
EnrichProdName
Talend Real-Time Big Data Platform
task
Création et développement
Qualité et préparation de données
EnrichPlatform
Studio Talend

Lorsque vous lisez cette documentation, vous êtes supposé avoir des connaissances de base relatives au projet Apache Storm. Si ce n'est pas votre cas, consultez la documentation Apache Storm.

Comme pour créer un Job MapReduce Talend, vous pouvez simplement utiliser des composants spécifiques à Storm afin de créer un Job Storm, un Topology en termes Storm, et configurer la connexion au cluster Storm à utiliser. Lors de l'exécution, le Studio soumet le Job Storm (Topology) au serveur Nimbus du cluster Storm à utiliser et laisse ce Topology s'exécuter en continu jusqu'à ce que vous l'arrêtiez, directement dans l'interface Storm UI fournie par Storm ou en utilisant la configuration de Storm définie dans le Studio. Une fois le Topology en cours d'exécution dans le cluster, vous pouvez monitorer son statut d'exécution dans la console de la vue Run de ce Job Storm, si votre configuration Storm le permet.

Le Topology créé dans le Studio reçoit les messages à traiter via le système Apache Kafka, un broker générique de messages. Le système Kafka permet au Topology d'être complètement découplé du système producteur de messages et de pouvoir prendre en charge les différents types de systèmes de messages. Ce mécanisme signifie également que vous devez installer et utiliser Kafka avec le cluster Storm.

Pour plus d'informations concernant Kafka, consultez la documentation Apache concernant le service de messaging Kafka.

Les modes disponibles pour exécuter un Topology sont les suivants :

  • Local : permet d'utiliser les bibliothèques Storm embarquées pour exécuter un Topology dans le Studio.

  • Remote : le Studio se connecte à un cluster Storm pour exécuter le Topology.

Les informations d'exécution d'un Job Storm Talend (Topology) sont enregistrées dans l'interface Storm UI du cluster Storm utilisé. Vous pouvez donc vous rendre dans la console Web de Storm UI pour consulter les logs. Le nom du Topology est celui saisi dans le champ Topology name de la vue Storm configuration du Job.