Fonctionnement d'un Job Storm Talend (déprécié) - 7.1

Guide utilisateur de Talend Data Fabric Studio

author
Talend Documentation Team
EnrichVersion
7.1
EnrichProdName
Talend Data Fabric
task
Création et développement
EnrichPlatform
Studio Talend

Cette fonctionnalité est dépréciée depuis Talend 7.1.

Le Studio Talend fournit un espace de modélisation graphique spécifique vous permettant de développer visuellement des topologies Storm à l'aide de composants Storm dédiés.

Ce scénario s'applique uniquement aux solutions Talend Real-Time Big Data Platform et Talend Data Fabric.

Lorsque vous lisez cette documentation, vous êtes supposé avoir des connaissances de base relatives au projet Apache Storm. Si ce n'est pas votre cas, consultez la documentation Apache Storm.

Comme pour créer un Job MapReduce Talend, vous pouvez simplement utiliser des composants spécifiques à Storm afin de créer un Job Storm, une topologie en termes Storm, et configurer la connexion au cluster Storm à utiliser. Lors de l'exécution, le Studio soumet le Job Storm (Topology) au serveur Nimbus du cluster Storm à utiliser et laisse ce Topology s'exécuter en continu jusqu'à ce que vous l'arrêtiez, directement dans l'interface Storm UI fournie par Storm ou en utilisant la configuration de Storm définie dans le Studio. Une fois le Topology en cours d'exécution dans le cluster, vous pouvez monitorer son statut d'exécution dans la console de la vue Run de ce Job Storm, si votre configuration Storm le permet.

Le Topology créé dans le Studio reçoit les messages à traiter via le système Apache Kafka, un broker générique de messages. Le système Kafka permet au Topology d'être complètement découplé du système producteur de messages et de pouvoir prendre en charge les différents types de systèmes de messages. Ce mécanisme signifie également que vous devez installer et utiliser Kafka avec le cluster Storm.

Pour plus d'informations concernant Kafka, consultez la documentation Apache concernant le service de messaging Kafka.

Les modes disponibles pour exécuter un Topology sont les suivants :
  • Local : permet d'utiliser les bibliothèques Storm embarquées pour exécuter un Topology dans le Studio.

  • Remote : le Studio se connecte à un cluster Storm pour exécuter le Topology.

Les informations d'exécution d'un Job Storm Talend (Topology) sont enregistrées dans l'interface Storm UI du cluster Storm utilisé. Vous pouvez donc vous rendre dans la console Web de Storm UI pour consulter les logs. Le nom de la topologie est celui saisi dans le champ Topology name de la vue Storm configuration du Job.