Talend Stormジョブの仕組み(非推奨) - 7.1

Talend Real-time Big Data Platform Studioユーザーガイド

author
Talend Documentation Team
EnrichVersion
7.1
EnrichProdName
Talend Real-Time Big Data Platform
task
ジョブデザインと開発
EnrichPlatform
Talend Studio

このフィーチャーはTalend 7.1以降、非推奨となっています。

Talend Studioは、専用のStormコンポーネントを使用して視覚的にStormトポロジーを開発できる特定のデザインワークスペースを提供します。

このシナリオは、Talend Real Time Big Data PlatformおよびTalend Data Fabricにのみ適用されます。

このドキュメンテーションの使用においては、ApacheのStormプロジェクトについて基本的な知識があることを前提としています。ご不明な点があれば、ApacheのStormに関するドキュメンテーションを参照してください。

Talend MapReduceジョブのデザインと同様に、Storm固有のコンポーネントを使用するだけで、Stormジョブ(Stormにおけるトポロジー)を作成し、使用するStormクラスターへの接続を設定することができます。ランタイムには、Studioは使用するStormクラスターのNimbusサーバーにStormジョブ(トポロジー)を送信し、Stormで提供されるStorm UIで直接、あるいはStudioで定義された正しいStorm設定を使用して、強制終了するまでクラスター内でこのトポロジーを継続的に実行させておくことができます。クラスター内でこのトポロジーを実行すると、Storm設定で許可している場合は、このStormジョブの[Run] (実行)ビューのコンソールで実行ステータスを監視することができます。

Studioで作成したトポロジーは、一般的なメッセージブローカーのApacheのKafkaシステムにより処理するメッセージを受信します。Kafkaシステムを使用すると、トポロジーをメッセージプロデューサーシステムから完全に分離させ、あらゆるタイプのメッセージシステムに適合させることができます。当面は、このメカニズムでは使用するStormクラスターとともにKafkaをインストールして使用することが必要になります。

Kafkaの詳細は、Kafkaメッセージングサービスに関するApacheのドキュメンテーションを参照してください。

Stormトポロジーの実行に使用できるモードは次のとおりです。
  • [Local] (ローカル): 組み込みStormライブラリを使用して、Studio内でトポロジーを実行します。

  • [Remote] (リモート): StudioはStormクラスターに接続してトポロジーを実行します。

Talend Stormジョブ(トポロジー)の実行情報は、使用するStormクラスターのStorm UIでログが記録されています。そのため、Storm UIのWebコンソールでその情報を調べることができます。このトポロジーの名前は、このジョブの[Storm configuration] (Storm設定)ビューの[Topology name] (トポロジー名)フィールドで指定したものです。