Concevoir un Job Storm - 6.5

Talend Real-Time Big Data Platform Studio Guide utilisateur

Version
6.5
Language
Français (France)
Product
Talend Real-Time Big Data Platform
Module
Studio Talend
Content
Création et développement
Qualité et préparation de données

Un Job Storm est conçu de la même manière que les autres Jobs Talend mais via l'interface et les composants Storm dédiés. De la même manière, vous devez suivre un modèle simple pour utiliser les composants.

Cette section présente les détails de ce modèle et présente les actions à effectuer pour créer un Job Storm, un Topology Storm.

  1. Une fois le Studio démarré, dans la vue Repository de la perspective Integration, cliquez-droit sur le nœud Storm Jobs sous Job Designs, ou cliquez-droit sur le nœud Job Designs si le nœud Storm Jobs n'existe pas encore. Dans le menu contextuel, sélectionnez Create Storm Job pour créer un Job vide dans l'espace de modélisation graphique.

  2. Dans l'espace de modélisation graphique, saisissez tKafkaInput pour afficher le composant dans la liste contextuelle et le sélectionner.

    Le composant tKafkaInput est le composant d'entrée Storm transmettant des messages dans un Job Storm. Il permet au Job d'appeler le service Zookeeper utilisé par votre cluster Kafka.

    Notez que les composants tRowGenerator et tFixedFlowInput sont également des composants d'entrée disponibles que vous pouvez utiliser pour tester le Job en cours de création.

  3. Ajoutez d'autres composants disponibles parmi les composants Storm de la Palette afin de traiter les messages, selon les opérations que vous souhaitez effectuer dans le Job. Connectez-les à l'aide de liens Row > Main.

  4. A la fin du Job, ajoutez un composant tJDBCOutput pour écrire les données traitées dans un système donné.

    Vous pouvez utiliser un tLogRow à la place du tJDBCOutput pour écrire les données en sortie dans la console de la vue Run du Job.

La capture d'écran ci-dessous présente un Job Storm, qui n'est pas prêt pour la production mais peut être exécuté dans un cluster Storm afin de tester les actions de transformation.

Avant de pouvoir exécuter un Job Storm, vous devez configurer sa connexion au cluster Storm à utiliser et définir les actions relatives à la soumission, l'arrêt et le monitoring du Job (Topology), dans l'onglet Storm configuration de la vue Run.

Pour plus d'informations concernant chaque paramètre cette vue, consultez les scénarios du composant tKafkaInput sur Talend Help Center.

Notez que la connexion créée dans la vue Storm configuration fonctionne uniquement pour un Job. Lorsque vous devez exécuter un autre Job, vous devez configurer la connexion spécifique à ce Job.

Pour un scénario détaillé utilisant un Job Storm, consultez le scénario du composant tKafkaInput sur https://help.talend.com.

Vous pouvez gérer et exécuter à distance vos Jobs Storm à partir de Talend Administration Center. Pour plus d'informations, consultez le Guide utilisateur de Talend Administration Center.

Si vous devez déployer et exécuter un Job Storm sur un serveur indépendant du Studio, vous pouvez utiliser la fonction Build Job pour exporter le Job. Pour plus d'informations concernant la fonctionnalité Build Job, consultez Construire des Jobs.

Vous pouvez également créer ces types de Jobs en écrivant leur script dans la vue Jobscript puis en les générant à partir de ce script. Pour plus d'informations concernant l'utilisation des scripts de Jobs, consultez le Guide de référence des scripts de Jobs Talend à l'adresse https://help.talend.com/.