Construire un Job Storm - 6.2

Talend Real-time Big Data Platform Studio Guide utilisateur

EnrichVersion
6.2
EnrichProdName
Talend Real-Time Big Data Platform
task
Création et développement
Qualité et préparation de données
EnrichPlatform
Studio Talend

Un Job Storm est conçu de la même manière que les autres Jobs Talend mais utilisent l'interface dédiée Storm et les composants Storm. De la même manière, vous devez suivre des étapes simples pour utiliser les composants.

Cette section présente les étapes à suivre et les actions à effectuer pour créer un Job Storm, un Topology Storm.

  1. Une fois le Studio démarré, dans la vue Repository de la perspective Integration, cliquez-droit sur le nœud Storm Jobs sous Job designs, ou cliquez-droit sur le nœud Job designs si le nœud Storm Jobs n'existe pas encore. Dans le menu contextuel, sélectionnez Create Storm Job pour créer un Job vide dans l'espace de modélisation graphique.

  2. Dans l'espace de modélisation graphique, saisissez tKafkaInput pour afficher le composant dans la liste contextuelle et le sélectionner.

    Le composant tKafkaInput est le composant d'entrée Storm transmettant des messages dans un Job Storm. Il permet au Job d'appeler le service Zookeeper utilisé par votre cluster Kafka.

    Notez que les composants tRowGenerator et tFixedFlowInput sont également des composants d'entrée disponibles que vous pouvez utiliser pour tester le Job en cours de création.

  3. Ajoutez d'autres composants disponibles parmi les composants Storm de la Palette afin de traiter les messages, selon les opérations que vous souhaitez effectuer dans le Job. Connectez-les à l'aide de liens Row > Main.

  4. A la fin du Job, ajoutez un composant tJDBCOutput pour écrire les données traitées dans un système donné.

    Vous pouvez utiliser un tLogRow à la place du tJDBCOutput pour écrire les données en sortie dans la console de la vue Run du Job.

La capture d'écran ci-dessous présente un Job Storm, qui n'est pas prêt pour la production mais peut être exécuté dans un cluster Storm afin de tester les actions de transformation.

Avant de pouvoir exécuter un Job Storm, vous devez configurer sa connexion au cluster Storm à utiliser et définir les actions relatives à la soumission, l'arrêt et le monitoring du Job (Topology), dans l'onglet Storm configuration de la vue Run.

Pour plus d'explications concernant les paramètres de cette vue, consultez le scénario du composant tKafkaInput dans le Guide de référence des Composants Talend.

Notez que la connexion créée dans la vue Storm configuration fonctionne uniquement pour un Job. Si vous exécutez un autre Job, configurez la connexion spécifique à ce Job.

Pour plus d'informations concernant les composants mentionnés dans cette section, consultez les sections relatives à ces composants dans le Guide de référence des Composants Talend.

Pour un scénario exécutant un Job Storm, consultez la section du composant tKafkaInput dans le Guide de référence des Composants Talend.

Vous pouvez gérer et exécuter à distance vos Jobs Storm à partir de Talend Administration Center. Pour plus d'informations, consultez le Guide utilisateur de Talend Administration Center.

Si vous devez déployer et exécuter un Job Storm sur un serveur indépendant du Studio, vous pouvez utiliser la fonction Build Job pour exporter le Job. Pour plus d'informations concernant la fonctionnalité Build Job, consultez Construction de Jobs.

Vous pouvez également créer ces types de Jobs en écrivant leur script dans la vue Jobscript puis en les générant à partir de ce script.